IA local empresarial con HPE DL380 Gen10: Qwen3.8-Flash-Next con una RTX A6000

Los servidores empresariales reacondicionados pueden servir como base para la inferencia de IA local, permitiendo planificar los recursos de cómputo según la carga y el presupuesto.

En este despliegue, Server Plus utilizó un HPE ProLiant DL380 Gen10 reacondicionado con una NVIDIA RTX A6000 de 48GB y 128GB de memoria del sistema para ejecutar Qwen3.8-Flash-Next mediante Strata, explorando una vía práctica para la IA local dentro del presupuesto disponible.

El despliegue registró aproximadamente 95–120 tokens/s de generación de texto en las condiciones de prueba. Las API compatibles proporcionan acceso a las aplicaciones internas y las herramientas de desarrollo, formando un servicio de inferencia local para la integración de aplicaciones.

Estas velocidades corresponden a las condiciones registradas. La longitud del prompt, el contexto, los usuarios simultáneos y la configuración de inferencia afectan a la respuesta; no constituyen una garantía de capacidad para un servicio multiusuario.

Qwen3.8-Flash-Next utiliza una arquitectura de mezcla de expertos (MoE). La descripción oficial indica 125B de parámetros en el cuerpo del modelo, con unos 6B activados, además de módulos de n-gram embedding y MTP. Por tanto, 125B no es la suma de todos los componentes de los pesos y cada token no requiere calcular todos los parámetros. Descripción oficial de Qwen

Los archivos IQ3_S suman aproximadamente 83.6GB y se ejecutan combinando recursos de GPU y memoria del sistema; los pesos completos no residen íntegramente en los 48GB de VRAM. El publicador informa de resultados próximos a BF16 en las evaluaciones indicadas, con un equilibrio práctico entre calidad y capacidad. La calidad de salida requiere validación independiente para cada aplicación. Detalles de ISTA-DASLab

Strata ofrece inferencia local y API compatibles con OpenAI y Anthropic, de modo que el modelo puede servir a otros programas además de las aplicaciones de chat. Proyecto Strata

Este caso evalúa los recursos de cómputo del sistema completo e incorpora GPU, memoria, almacenamiento y refrigeración a la configuración.

Cuando la inferencia accede a la memoria y al almacenamiento del sistema, su configuración, la ubicación de la GPU, las rutas de datos y la refrigeración influyen en el rendimiento. Un DL380 Gen10 reacondicionado permite priorizar el presupuesto para los recursos de GPU, memoria y almacenamiento adecuados a la carga.

El despliegue de GPU requiere verificar risers, cables de alimentación, capacidad de las fuentes, refrigeración y compatibilidad del firmware, seguido de la validación del sistema completo bajo carga.

Una vez disponible la inferencia local, la empresa puede desarrollar aplicaciones según sus necesidades:

• Organización y resumen de documentos: procesar informes internos, documentación técnica y registros de trabajo.
• Asistencia al desarrollo: generar explicaciones de código, borradores de pruebas y sugerencias de depuración.
• Bases de conocimiento: combinar recuperación de documentos, citas de fuentes y permisos para responder consultas internas.
• Automatización: conectar sistemas existentes mediante API para clasificar texto, extraer información y redactar contenido.

Estas aplicaciones pueden compartir el servicio local del modelo; las bases de conocimiento, los permisos y los procesos de negocio requieren integración en la capa de aplicación conforme a sus respectivos requisitos.

La IA local permite que la empresa decida dónde se ejecuta el modelo, cómo se accede al servicio y qué datos puede utilizar.

Cuando la inferencia y las aplicaciones relacionadas permanecen en el entorno interno, no es necesario enviar prompts y documentos a un proveedor externo en cada solicitud. Si se añaden búsquedas web o herramientas de terceros, deben gestionarse esas transferencias según el flujo real.

Antes de ofrecer el servicio a los usuarios internos, también deben planificarse autenticación API, restricciones de red, políticas de registro y monitorización de recursos, para pasar de una prueba en una máquina a un servicio empresarial gestionable.

Este caso presenta el uso de un DL380 Gen10 reacondicionado como plataforma de inferencia de IA local.

Las empresas pueden adoptar un enfoque por etapas: validar primero la calidad de respuesta, la velocidad y los requisitos de uso con cargas reales, y después planificar capacidad y plazos de ampliación como base para asignar presupuesto.

Server Plus evalúa la actualización de equipos y los entornos de IA local según los requisitos de integración de servidores, GPU, memoria, almacenamiento y software, para planificar configuraciones adecuadas al uso y al presupuesto.

Para consultar sobre IA local o servidores GPU, indique el modelo previsto, las aplicaciones y el número de usuarios simultáneos a Server Plus. La guía de instalación y técnica de Strata contiene el procedimiento completo.