Guía de instalación de IA local en HPE DL380 Gen10: Qwen3.8-Flash-Next con Strata

Esta guía describe el despliegue de un servicio de inferencia de un modelo MoE de gran tamaño en un HPE ProLiant DL380 Gen10 con una NVIDIA RTX A6000 de 48GB y 128GB de memoria, incluida la integración mediante API de clientes y herramientas de desarrollo.

El procedimiento comprende la instalación del motor Strata, la descarga de fragmentos GGUF de Qwen3.8-Flash-Next, el inicio del servicio con contexto de 256K, la validación de la API y la configuración de las integraciones con Cherry Studio y OpenCode.

El despliegue registró aproximadamente 95–120 tokens/s de generación de texto con decodificación especulativa. Estas cifras corresponden al entorno y la carga evaluados; el rendimiento real depende de las entradas, la longitud del contexto y las solicitudes simultáneas.

Qwen3.8-Flash-Next

Qwen3.8-Flash-Next es un modelo de pesos abiertos con MoE y atención híbrida. Su ficha oficial describe un cuerpo de modelo de lenguaje de 125B de parámetros, unos 6B activados, además de aproximadamente 51B de n-gram embedding y 4B de MTP.

Por tanto, 125B describe el cuerpo del modelo, no todos los componentes de sus pesos sumados. Tiene 512 expertos enrutados y activa 10 de ellos más uno compartido por token. El contexto nativo es de 262,144 tokens. Ficha oficial de Qwen

Strata

Strata es una herramienta abierta de inferencia local cuyo código tiene licencia MIT. Combina GPU, RAM y acceso a SSD cuando corresponde, y ofrece API compatibles con OpenAI y Anthropic.

Esta configuración combina memoria de GPU, RAM del sistema y almacenamiento; los pesos completos no residen íntegramente en los 48GB de VRAM. La RAM, el almacenamiento del modelo y las rutas de transferencia influyen en el rendimiento de inferencia. Strata admite decodificación especulativa con una capa de borrador MTP, cuya aceleración debe evaluarse con la carga prevista. Referencia técnica de Strata

Cuantización GSQ-RCO

Se utiliza GSQ-RCO IQ3_S, cuyos fragmentos suman unos 83.6GB. Las evaluaciones AIME25, GPQA-Diamond y LiveCodeBench v6 del publicador sitúan IQ3_S globalmente cerca de la referencia BF16.

Estos resultados muestran el equilibrio entre capacidad y calidad de IQ3_S en las evaluaciones publicadas; la calidad de salida debe validarse para cada aplicación. ISTA-DASLab publica esta cuantización, mientras que el equipo Qwen proporciona el modelo original. Detalles de GSQ-RCO

La configuración publicada se limita a los elementos de la tabla; el registro del despliegue no especifica el modelo de CPU ni los detalles del almacenamiento.

Comprobaciones previas

Compruebe que el sistema detecta la GPU, revise la VRAM utilizada y el espacio disponible donde se almacenará el modelo:

nvidia-smi
free -h
df -h "$HOME"

La versión CUDA mostrada por nvidia-smi expresa la capacidad del controlador, no necesariamente la versión de CUDA Toolkit instalada.

Los archivos del modelo ocupan aproximadamente 84GB, con espacio adicional para el motor, la capa de borrador y los packs. Reserve al menos 120GB disponibles y amplíe esta capacidad si conserva cachés de descarga, varias cuantizaciones o archivos convertidos.

En DL380 Gen10 hay que verificar risers, cables, capacidad de las fuentes y refrigeración. Strata puede instalarse en el directorio del usuario sin root; los controladores, paquetes del sistema y configuración de servicios pueden requerir permisos de administrador.

Esta guía ofrece dos métodos de despliegue: descarga automática de la cuantización de ISTA-DASLab mediante Strata o descarga manual de la variante abliterated de SC117.

El despliegue manual utiliza la variante SC117, cuyo comportamiento de rechazo difiere del original. Su adopción empresarial requiere validar de forma independiente la calidad y la adecuación con datos de la aplicación; los resultados de evaluación del modelo original no se aplican directamente a esta variante. Descripción de SC117

Tamaños de cuantización

La tabla indica tamaños de descarga, no requisitos mínimos de VRAM. La planificación debe contemplar longitud del contexto, solicitudes simultáneas, lector de imágenes, memoria del motor y distribución de recursos entre GPU y RAM. Esta configuración con RTX A6000 de 48GB y 128GB de RAM utiliza IQ3_S. Datos de tamaño

Ejecute en el terminal Linux del DL380 Gen10. Descargue e inspeccione el script antes de ejecutarlo:

curl -fsSL https://github.com/Niko1221/Strata/releases/latest/download/install.sh -o install.sh
less install.sh
sh install.sh
export PATH="$HOME/.local/bin:$PATH"
strata --version

El directorio de instalación es ~/.local/share/strata y el comando se encuentra en ~/.local/bin/strata. Añada PATH al archivo de inicio del shell del usuario para mantener la ruta del comando en las siguientes sesiones.

latest cambia con las publicaciones del proyecto. Guarde la salida de strata --version y la versión del motor para reproducir el entorno. Documentación de instalación

Este despliegue combina el controlador NVIDIA de la serie 580 con el motor CUDA 13. Para otras versiones del controlador, compruebe la compatibilidad con los requisitos mínimos del motor antes de seleccionar el paquete.

5.1 ISTA-DASLab mediante Strata

Para la cuantización estándar, utilice:

strata launch --family qwen --model iq3_s \
  --access lan --port 11434 --context 256k \
  --save-preset qwen

El lanzador descarga los componentes necesarios para el modelo y las funciones seleccionadas.

Seleccione este método o el despliegue manual de la siguiente sección. Un único servicio en el mismo host debe escuchar en el puerto TCP 11434.

5.2 Variante SC117: descarga manual de ambos fragmentos

La ruta utilizada contiene fragmentos SC117 IQ3_S. En Ubuntu 24.04, instale las herramientas de Hugging Face en un entorno virtual Python en lugar de modificar los paquetes del sistema:

python3 -m venv "$HOME/.venvs/strata-download"
source "$HOME/.venvs/strata-download/bin/activate"
python -m pip install -U "huggingface_hub[hf_xet]"
mkdir -p "$HOME/strata-models"
cd "$HOME/strata-models"

hf download SC117/Qwen3.8-Flash-Next-GSQ-RCO-abliterated-GGUF \
  IQ3_S/Qwen3.8-Flash-Next-GSQ-RCO-abliterated-IQ3_S-00001-of-00002.gguf \
  IQ3_S/Qwen3.8-Flash-Next-GSQ-RCO-abliterated-IQ3_S-00002-of-00002.gguf \
  mmproj-Qwen3.8-Flash-Next-BF16.gguf \
  --local-dir SC117-abliterated

Si falta venv, un administrador debe instalar python3-venv. Mantenga los dos GGUF con sus nombres originales en el mismo directorio IQ3_S. mmproj es el modelo de proyección para imágenes, no un sustituto de los fragmentos principales.

El comando identifica explícitamente ambos fragmentos GGUF y el modelo de proyección mediante sus rutas completas. Hugging Face CLI también admite patrones include/exclude configurados según la estructura de directorios del repositorio del modelo. Documentación de Hugging Face CLI

Después, revise el plan de importación:

strata models import \
  "$HOME/strata-models/SC117-abliterated/IQ3_S" --plan

Antes del inicio, confirme el reconocimiento de ambos fragmentos GGUF y de la cuantización esperada. Los mensajes pueden variar por versión; compruebe conjuntamente el número de archivos, el tipo de cuantización y el plan de ejecución.

6.1 Revisar el plan

strata launch \
  --model-path "$HOME/strata-models/SC117-abliterated/IQ3_S" \
  --access lan --port 11434 --context 256k \
  --no-tui --plan

Compruebe ruta, motor, escucha y planificación de recursos.

6.2 Iniciar el servicio

Inicie el servicio con nohup y dirija la salida estándar y los errores a un archivo de registro:

nohup strata launch \
  --model-path "$HOME/strata-models/SC117-abliterated/IQ3_S" \
  --access lan --port 11434 --context 256k \
  --no-tui --save-preset SC117 \
  > "$HOME/strata-launch.log" 2>&1 &

tail -f "$HOME/strata-launch.log"

La preparación inicial del pack y la capa de borrador requirió aproximadamente 5–10 minutos en este despliegue; las cargas posteriores, unos 75 segundos. El tiempo real depende de la velocidad de descarga, la caché, el almacenamiento y la versión del software.

Una vez disponible el servicio, valide la lista de modelos y las respuestas de la API. Algunas versiones de Strata mantienen el servicio en segundo plano; confirme su funcionamiento mediante el comando de estado y las comprobaciones de la API.

6.3 Comandos de gestión

strata launch --status
strata launch --show-key --preset SC117
strata launch --stop --preset SC117
strata launch --preset SC117 --no-tui
strata logs --follow

Estos comandos permiten consultar el estado y la clave, detener o reiniciar el servicio y supervisar los registros. Ejecútelos individualmente según la necesidad administrativa. Almacene las claves de forma segura y exclúyalas de documentos públicos, capturas y repositorios de control de versiones.

6.4 Opciones principales

Este despliegue utiliza un contexto de 256K. Los prompts más largos aumentan el tiempo de procesamiento y la memoria requerida; planifique los recursos según la longitud de entrada y las solicitudes simultáneas. Evalúe MTP comparando su activación y desactivación con la misma carga. Documentación de opciones

La base de la API LAN es http://<IP-del-servidor>:11434/v1. La siguiente validación utiliza localhost; las conexiones desde otros hosts deben usar la dirección interna del servidor.

Lea la clave con Bash sin escribirla directamente en el historial:

read -rsp 'Strata API key: ' STRATA_API_KEY
printf '\n'
export STRATA_API_KEY
export STRATA_BASE_URL=http://127.0.0.1:11434/v1

curl -fsS "$STRATA_BASE_URL/models" \
  -H "Authorization: Bearer $STRATA_API_KEY"

El ID devuelto en este despliegue fue swift-1.5-iq3_s. En la integración, configure el campo model de la solicitud con el ID devuelto por /v1/models.

curl -fsS "$STRATA_BASE_URL/chat/completions" \
  -H "Authorization: Bearer $STRATA_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "swift-1.5-iq3_s",
    "messages": [
      {"role": "user", "content": "Explica en español los usos de la IA local en empresas."}
    ],
    "max_tokens": 1024,
    "chat_template_kwargs": {"enable_thinking": false}
  }'

Modo de razonamiento y presupuesto de salida

El modelo puede generar primero el razonamiento y devolverlo en reasoning_content. Un presupuesto de salida insuficiente puede agotarse durante esa fase y dejar vacío el content final.

Para conversación general o preprocesamiento de herramientas, el razonamiento puede desactivarse inicialmente. Las aplicaciones que lo requieran deben activarlo con suficiente presupuesto de salida. Revise errores, motivos de finalización y uso de tokens para comprobar que la respuesta esté completa.

Este despliegue también verificó la devolución de tool_calls mediante tools/function calling. El cliente es responsable de autorizar la ejecución, validar los argumentos y devolver los resultados, con control explícito de los permisos del sistema operativo.

Strata también ofrece una interfaz compatible con Anthropic. Configure la base URL del cliente con la raíz del servicio, sin añadir /v1; la inferencia sigue ejecutándose en el modelo Qwen desplegado localmente. API e integraciones

Cherry Studio

Añada un proveedor compatible con OpenAI usando http://<IP-del-servidor>:11434/v1, la clave de Strata y el modelo obtenido de /v1/models. Active function calling cuando necesite herramientas.

La búsqueda web puede obtener resultados de servicios externos como Tavily, Exa o SearXNG para procesarlos con el modelo local. Si la extracción de palabras clave no requiere razonamiento adicional, desactívelo con este parámetro personalizado:

{
  "chat_template_kwargs": {
    "enable_thinking": false
  }
}

La búsqueda externa transmite las consultas al servicio seleccionado. Planifique por separado los flujos de inferencia local y de herramientas externas, y gestione las consultas salientes según la clasificación de datos y las políticas de acceso.

OpenCode

Haga una copia de la configuración existente antes del comando de integración:

strata connect opencode --write

Revise ~/.config/opencode/opencode.json. Si OpenCode y Strata se ejecutan en hosts distintos, configure baseURL con la API interna del servidor y verifique el ID del modelo, la clave y los límites de entrada/salida. Mantenga limit.input en esta configuración.

El primer inicio puede descargar un complemento del proveedor, por lo que conviene verificar antes la conectividad de salida.

Claude Code

Utilice las siguientes variables de entorno para conectar con la interfaz compatible con Anthropic:

export ANTHROPIC_BASE_URL=http://127.0.0.1:11434
export ANTHROPIC_API_KEY="$STRATA_API_KEY"

En otro host, sustituya localhost por la dirección del servidor. Para otras herramientas, consulte strata connect y utilice strata connect <nombre-de-herramienta> para obtener su configuración. Integraciones de Strata

El entorno DL380 Gen10 registró el siguiente rendimiento:

Las cifras incluyen decodificación especulativa. La velocidad de salida y la de procesamiento del prompt son métricas distintas; ninguna equivale a la velocidad media de una solicitud completa desde su envío hasta el final.

Las cifras son observaciones de este despliegue, sin comparaciones estandarizadas entre distintos equipos o motores de inferencia. Sirven como referencia para evaluar esta configuración.

Para comparaciones posteriores, registre versiones, argumentos de inicio, CPU, GPU, RAM, almacenamiento, longitudes de entrada/salida, razonamiento, MTP y concurrencia. Use prompts fijos para medir tiempo hasta la primera respuesta, velocidad de salida y consumo de recursos antes de evaluar el uso multiusuario.

• Proyecto Strata e instalación
• Opciones de Strata Terminal
• Ficha original de Qwen3.8-Flash-Next
• ISTA-DASLab GSQ-RCO GGUF
• SC117 abliterated GGUF
• Hugging Face CLI