HPE DL380 Gen10 地端 AI 安裝教學：以 Strata 部署 Qwen3.8-Flash-Next

本文說明以 HPE ProLiant DL380 Gen10、單張 NVIDIA RTX A6000 48GB 與 128GB 系統記憶體，建置大型 MoE 模型推論服務的方法，並介紹用戶端與開發工具的 API 整合方式。

部署流程涵蓋 Strata 推論引擎安裝、Qwen3.8-Flash-Next GGUF 模型分片下載、256K 上下文服務啟動、API 驗證，以及 Cherry Studio、OpenCode 等工具的整合設定。

本次部署記錄的文字輸出速度約為 95～120 tokens/s，包含投機解碼加速。此數據適用於本次測試環境與工作負載；實際效能取決於提示詞、上下文長度及並行請求數。

Qwen3.8-Flash-Next

Qwen3.8-Flash-Next 是採用 MoE 與混合注意力設計的開放權重模型。官方模型卡將語言模型主體標為 125B 參數、約 6B 啟用參數，另外列有約 51B 的 n-gram embedding 與 4B MTP 模組。

因此，常見的「125B」是模型主體的標示方式，不是所有權重組件的總和。它配置 512 個路由專家，每個 token 啟用 10 個路由專家及 1 個共享專家；原生上下文長度為 262,144 tokens。Qwen 官方模型卡

Strata

Strata 是開源本機推論工具，程式碼採 MIT 授權，結合 GPU、系統 RAM，以及適用的 SSD 存取方式執行模型，並提供 OpenAI／Anthropic 相容 API。

本配置結合 GPU 顯存、系統記憶體與儲存資源執行模型，完整權重並非全部駐留於 48GB 顯存。系統 RAM、模型儲存裝置及資料傳輸路徑均會影響推論效能。Strata 支援 MTP 草稿層投機解碼，其加速效果需依實際工作負載評估。Strata 技術文件

GSQ-RCO 量化

本次使用 GSQ-RCO 的 IQ3_S 量化，模型分片合計約 83.6GB。發布者的 AIME25、GPQA-Diamond 與 LiveCodeBench v6 測試顯示，IQ3_S 整體接近 BF16 基準表現。

上述結果呈現 IQ3_S 在已公布評測中的容量與品質平衡；不同應用的輸出品質仍需分別驗證。此量化版本由 ISTA-DASLab 發布，原始模型則由 Qwen 團隊提供。GSQ-RCO 模型說明

本次公開配置以表列項目為準；CPU 型號與儲存裝置的詳細規格未列於部署紀錄。

安裝前檢查

先確認 GPU 被系統辨識、顯存使用狀況與模型儲存位置的空間：

nvidia-smi
free -h
df -h "$HOME"

nvidia-smi 顯示的 CUDA 版本是驅動支援能力，不代表系統已安裝同版 CUDA Toolkit。

模型檔案約占 84GB，另需容納推論引擎、草稿層及 pack。建議至少預留 120GB 可用空間；若保留下載快取、多個量化版本或額外轉換檔案，應增加儲存容量。

DL380 Gen10 的 GPU 配置也須確認 riser、供電線材、電源容量與散熱。Strata 本身可安裝於使用者家目錄，不需要 root；GPU 驅動、系統套件與服務設定則可能需要管理員權限。

本文提供兩種模型部署方式：透過 Strata 自動下載 ISTA-DASLab 量化版本，或手動下載 SC117 的 abliteration 衍生版本。

本次手動部署採用 SC117 衍生版本，其拒答行為與原模型不同。企業導入時，應以實際應用資料獨立驗證輸出品質與適用性，原模型的評測結果不直接適用於此衍生版本。SC117 模型說明

量化容量參考

表列數值為模型下載容量，並非最低顯存需求。資源規劃須同時考量上下文長度、並行請求數、圖片讀取器及引擎執行空間，並評估顯存與系統 RAM 的實際配置方式。本次 RTX A6000 48GB 與 128GB RAM 環境採用 IQ3_S。容量資料

以下指令在 DL380 Gen10 的 Linux 終端執行。先下載並檢視腳本，再執行安裝：

curl -fsSL https://github.com/Niko1221/Strata/releases/latest/download/install.sh -o install.sh
less install.sh
sh install.sh
export PATH="$HOME/.local/bin:$PATH"
strata --version

本次安裝位置為 ~/.local/share/strata，命令入口位於 ~/.local/bin/strata。將 PATH 設定加入使用者 shell 啟動檔，可讓後續登入工作階段使用相同命令路徑。

latest 會跟隨上游更新。部署完成後保留 strata --version 輸出及引擎版本，方便日後重現。安裝文件

本次 NVIDIA 580 系列驅動搭配 CUDA 13 引擎。使用其他驅動版本時，應依引擎套件的最低驅動需求確認相容性，再選擇對應套件。

5.1 ISTA-DASLab 版本：交由 Strata 下載

若採用一般量化版本，可以直接使用：

strata launch --family qwen --model iq3_s \
  --access lan --port 11434 --context 256k \
  --save-preset qwen

啟動流程會依所選模型與功能下載必要素材。

此方式與下一節的手動部署方式擇一使用；同一主機上的 TCP 11434 應由單一服務監聽。

5.2 SC117 衍生版本：手動下載完整分片

本次實際模型路徑採用 SC117 的 IQ3_S 分片。Ubuntu 24.04 建議在 Python 虛擬環境安裝 Hugging Face 工具，避免直接修改系統 Python 套件：

python3 -m venv "$HOME/.venvs/strata-download"
source "$HOME/.venvs/strata-download/bin/activate"
python -m pip install -U "huggingface_hub[hf_xet]"
mkdir -p "$HOME/strata-models"
cd "$HOME/strata-models"

hf download SC117/Qwen3.8-Flash-Next-GSQ-RCO-abliterated-GGUF \
  IQ3_S/Qwen3.8-Flash-Next-GSQ-RCO-abliterated-IQ3_S-00001-of-00002.gguf \
  IQ3_S/Qwen3.8-Flash-Next-GSQ-RCO-abliterated-IQ3_S-00002-of-00002.gguf \
  mmproj-Qwen3.8-Flash-Next-BF16.gguf \
  --local-dir SC117-abliterated

若系統缺少 venv 支援，需先由管理員安裝對應的 python3-venv 套件。兩個 GGUF 分片保留原始檔名，放在同一個 IQ3_S 目錄；mmproj 是圖片輸入所用的投影模型，不能取代主模型分片。

上述指令以完整路徑指定兩個 GGUF 分片與投影模型，明確界定下載範圍。Hugging Face CLI 亦支援 include／exclude 篩選模式，可依模型儲存庫的目錄結構設定。Hugging Face CLI 文件

下載後先檢查模型匯入計畫：

strata models import \
  "$HOME/strata-models/SC117-abliterated/IQ3_S" --plan

啟動前應確認引擎已辨識兩個 GGUF 分片及相符的量化格式。辨識訊息可能因版本而異，應綜合確認檔案數量、量化類型與執行計畫。

6.1 先檢視執行計畫

strata launch \
  --model-path "$HOME/strata-models/SC117-abliterated/IQ3_S" \
  --access lan --port 11434 --context 256k \
  --no-tui --plan

檢查模型位置、引擎、監聽方式及資源規劃。

6.2 正式啟動

使用 nohup 啟動服務，並將標準輸出與錯誤訊息寫入日誌檔：

nohup strata launch \
  --model-path "$HOME/strata-models/SC117-abliterated/IQ3_S" \
  --access lan --port 11434 --context 256k \
  --no-tui --save-preset SC117 \
  > "$HOME/strata-launch.log" 2>&1 &

tail -f "$HOME/strata-launch.log"

本次部署首次準備 pack 與草稿層約需 5～10 分鐘，後續載入約 75 秒。實際時間取決於下載速度、快取狀態、儲存效能及軟體版本。

服務就緒後，應進一步驗證模型清單與 API 回應。部分 Strata 版本會將服務維持於背景執行；服務狀態應透過狀態命令及 API 檢查確認。

6.3 常用管理命令

strata launch --status
strata launch --show-key --preset SC117
strata launch --stop --preset SC117
strata launch --preset SC117 --no-tui
strata logs --follow

以上命令分別用於狀態查詢、金鑰查詢、停止服務、重新啟動及日誌追蹤，應依管理需求個別執行。API key 應妥善保存，避免寫入公開文件、截圖或版本控制儲存庫。

6.4 參數重點

本次採用 256K 上下文設定。較長的提示詞會增加處理時間與記憶體需求，因此應依應用的輸入長度及並行請求數規劃資源。MTP 的效能差異可透過相同工作負載下的啟用與停用測試進行評估。參數文件

LAN 模式的 API 位址為 http://<伺服器IP>:11434/v1。以下以本機位址執行驗證；跨主機連線時，應改為伺服器的內網位址。

先以 Bash 讀入金鑰，避免將金鑰直接寫進命令歷史：

read -rsp 'Strata API key: ' STRATA_API_KEY
printf '\n'
export STRATA_API_KEY
export STRATA_BASE_URL=http://127.0.0.1:11434/v1

curl -fsS "$STRATA_BASE_URL/models" \
  -H "Authorization: Bearer $STRATA_API_KEY"

本次部署回傳的模型 ID 為 swift-1.5-iq3_s。實際串接時，應以 /v1/models 回傳的 ID 設定請求中的 model 欄位。

curl -fsS "$STRATA_BASE_URL/chat/completions" \
  -H "Authorization: Bearer $STRATA_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "swift-1.5-iq3_s",
    "messages": [
      {"role": "user", "content": "請用繁體中文介紹企業地端 AI 的用途。"}
    ],
    "max_tokens": 1024,
    "chat_template_kwargs": {"enable_thinking": false}
  }'

思考模式與輸出預算

模型可先產生推理內容，並透過 reasoning_content 欄位回傳。若輸出預算不足，推理階段可能耗盡可用 token，導致最終 content 為空。

一般對話或工具前處理可先停用思考模式；需要推理的應用則應啟用此功能並配置足夠的輸出預算。驗證時應同時檢視錯誤訊息、結束原因與 token 使用量，以確認回應是否完整。

本次部署亦驗證了 tools／function calling 回傳 tool_calls 的功能。工具執行由用戶端負責授權、參數驗證與結果回傳，作業系統權限應由用戶端明確控管。

Strata 同時提供 Anthropic 相容介面。用戶端的 Anthropic base URL 應設定為服務根網址，無須另加 /v1；底層推論仍由本機部署的 Qwen 模型執行。API 與整合說明

Cherry Studio

新增 OpenAI 相容供應商，API 位址填入 http://<伺服器IP>:11434/v1，設定 Strata 的 API key，並依 /v1/models 結果新增模型。需要工具呼叫時，啟用對應的函數調用設定。

網路搜尋可透過 Tavily、Exa 或 SearXNG 等外部搜尋服務取得結果，再由本機模型處理。搜尋關鍵字擷取階段若無須額外推理，可透過以下模型自訂參數停用思考模式：

{
  "chat_template_kwargs": {
    "enable_thinking": false
  }
}

外部搜尋會將查詢內容傳送至所選服務。企業應分別規劃本機推論與外部工具的資料流向，依資料分類及存取政策管理連外查詢。

OpenCode

備份既有設定後，執行以下整合命令：

strata connect opencode --write

檢查產生的 ~/.config/opencode/opencode.json。若 OpenCode 與 Strata 部署於不同主機，應將 baseURL 改為伺服器的內網 API 位址，並確認模型 ID、API key 與輸入／輸出限制。此配置需保留 limit.input 設定。

首次啟動可能還會下載 provider 外掛，應預先確認出網條件。

Claude Code

透過以下環境變數連接 Anthropic 相容介面：

export ANTHROPIC_BASE_URL=http://127.0.0.1:11434
export ANTHROPIC_API_KEY="$STRATA_API_KEY"

跨主機使用時改為伺服器位址。其他工具可先執行 strata connect 查看支援項目，再使用 strata connect <工具名> 取得該工具的整合設定。Strata 工具整合入口

本次 DL380 Gen10 環境記錄的效能如下：

數字包含投機解碼加速。輸出速度與提示詞處理速度是不同指標，也不等於完整請求從送出到回答結束的平均速度。

上述數據為本次部署的觀察值，未涵蓋跨硬體或跨引擎的標準化對照測試，適合作為此配置的評估參考。

後續效能比較應記錄模型與引擎版本、啟動參數、CPU、GPU、RAM、儲存、提示詞與輸出長度、思考模式、MTP 狀態及並行請求數。以固定提示詞測量首次回應時間、輸出速度與資源使用量，可作為多使用者服務的容量規劃依據。

• Strata 專案與安裝入口
• Strata Terminal 啟動參數
• Qwen3.8-Flash-Next 原始模型卡
• ISTA-DASLab GSQ-RCO GGUF
• SC117 abliterated GGUF
• Hugging Face CLI