HPE DL380 Gen10 打造企業地端 AI：單張 RTX A6000 部署 Qwen3.8-Flash-Next

整新企業級伺服器可作為地端 AI 推論的基礎平台，讓企業依工作負載與預算規劃運算資源。

Server Plus 採用 HPE ProLiant DL380 Gen10 整新伺服器，搭配單張 NVIDIA RTX A6000 48GB 與 128GB 系統記憶體，透過 Strata 推論引擎部署 Qwen3.8-Flash-Next，評估企業於既有預算內建置地端 AI 的可行性。

依本次部署紀錄，此配置在測試條件下達到約 95～120 tokens/s 的文字輸出速度，並透過相容 API 提供內部應用與開發工具存取，形成可供應用整合的地端 AI 推論服務。

上述速度代表本次測試條件下的輸出表現；提示詞長度、上下文、同時使用人數及推論設定，都會影響實際回應速度，不能直接視為多人服務的容量保證。

Qwen3.8-Flash-Next 採用混合專家架構（MoE）。官方標示模型主體為 125B 參數，每次推論啟用約 6B，另外包含 n-gram embedding 與 MTP 模組。因此，「125B」不是完整權重所有組件加總後的參數量，也不代表每個 token 都要計算全部參數。Qwen 官方模型說明

本次使用的 IQ3_S 量化檔案約 83.6GB，透過 GPU 與系統記憶體等資源協同執行，完整權重並非全部駐留於 48GB 顯存。量化發布者的測試顯示，IQ3_S 在所列評測中接近 BF16 基準表現，具備實用的品質與容量平衡；不同應用的輸出品質仍需獨立驗證。ISTA-DASLab 量化模型說明

Strata 提供本機推論及 OpenAI／Anthropic 相容 API，讓模型除了能對話，也能作為其他軟體的推論服務。Strata 專案

本案例從完整系統的角度評估運算資源，將 GPU、系統記憶體、儲存與散熱納入整體配置。

推論工作涉及系統記憶體與儲存存取時，記憶體配置、GPU 安裝位置、資料傳輸路徑及散熱均會影響效能。採用整新 DL380 Gen10，可讓企業將預算優先配置於符合工作負載需求的 GPU、記憶體及儲存資源。

GPU 導入需確認 riser、供電線材、電源容量、散熱配置及韌體相容性，並以完整系統進行負載驗證。

完成地端推論服務後，企業可以依需求逐步開發：

• 文件整理與摘要：協助處理內部報告、技術文件與工作紀錄。
• 程式開發輔助：提供程式說明、測試草稿與除錯建議。
• 企業知識庫：結合文件檢索、來源引用與權限控管，建立內部問答服務。
• 流程自動化：透過 API 串接既有系統，處理文字分類、資訊擷取與內容草擬。

上述應用可共用地端模型服務；知識庫、使用者權限及業務流程則需依各項需求進行應用層整合。

地端 AI 的價值，在於企業可以自行規劃模型執行位置、服務入口與資料存取範圍。

當推論及相關應用都留在內部環境，企業不必為每次推論將提示詞與文件送往外部模型服務。若另外串接網路搜尋或第三方工具，則應依實際流程管理資料傳送。

正式提供內部使用時，也應一併規劃 API 驗證、網路存取限制、日誌政策與資源監控，讓 AI 從單機測試走向可管理的企業服務。

本案例呈現整新 DL380 Gen10 作為地端 AI 推論平台的應用方式。

企業可採分階段導入方式，先以實際工作負載驗證回答品質、回應速度與使用需求，再據此規劃容量及擴充時程，作為預算配置的依據。

Server Plus 以伺服器、GPU、記憶體、儲存與軟體的整合需求為基礎，協助企業評估既有設備升級及地端 AI 環境，規劃符合用途與預算的配置。

地端 AI 與 GPU 伺服器配置評估，可提供預計使用的模型、應用情境及同時使用人數，聯繫 Server Plus。完整操作流程請參閱Strata 安裝與技術分享。