VRAM de Qwen3-Next-80B-A3B: Por qué puede competir con un modelo de 235B con mucha menos memoria

¿Por qué un modelo con “solo” 80 mil millones de parámetros puede estar a la altura de un gigantesco modelo de 235B? La sabiduría convencional sugiere que los modelos más grandes siempre significan más potencia, mayor precisión y un mejor razonamiento. Sin embargo, Qwen3-Next-80B-A3B desafía esta suposición.

Este artículo explora la pregunta central: ¿cómo logra un modelo de escala menor rivalizar con un sistema casi tres veces más grande, y con mucha menos VRAM? Examinaremos las elecciones arquitectónicas, las técnicas de eficiencia y las compensaciones de rendimiento que hacen posible esto, y lo que significa para desarrolladores y organizaciones que buscan el equilibrio adecuado entre velocidad, costo y capacidad.

Por qué Qwen3-Next-80B-A3B puede competir con un modelo de 235B con muchos menos VRAM

La capacidad del Qwen3-Next-80B-A3B de 80 mil millones de parámetros para competir con un colosal modelo de 235 mil millones de parámetros se debe a su arquitectura altamente eficiente, principalmente al uso de un diseño de Mezcla de Expertos de Alta Dispersión (MoE).

De Hugging Face

Qwen3-Next-80B-A3B es el primer modelo de la serie Qwen3-Next y destaca por sus innovaciones arquitectónicas que maximizan la eficiencia y el rendimiento en contextos largos.

Introduce la Atención Híbrida, que combina Gated DeltaNet y Gated Attention para reemplazar la atención estándar, permitiendo un modelado de contexto eficiente en longitudes de secuencia ultralargas.

Un diseño de Mezcla de Expertos de Alta Dispersión (MoE) reduce drásticamente la relación de activación, disminuyendo los FLOPs por token sin perder capacidad del modelo.

Para garantizar la robustez, el modelo integra Optimizaciones de Estabilidad como la normalización de capa centrada en cero y con decaimiento de peso.

Finalmente, la Predicción de Múltiples Tokens (MTP) mejora la eficiencia del preentrenamiento y acelera la inferencia. Juntas, estas mejoras hacen que Qwen3-Next-80B-A3B sea especialmente adecuado para manejar cargas de trabajo a gran escala y de contexto largo, con tanto eficiencia como estabilidad.

De Hugging Face

Requisitos de VRAM para la inferencia de Qwen3-Next-80B-A3B

Un punto crucial a entender es que, aunque solo una fracción de los parámetros están activos durante la inferencia, los 80 mil millones de parámetros completos aún deben cargarse en la VRAM (Video RAM) de la GPU.

La VRAM necesaria para la inferencia viene determinada principalmente por el tamaño del modelo y la precisión de sus pesos. Aquí tienes un cálculo básico para cargar los pesos del modelo:

Precisión FP16/BF16 (16 bits): Esta es una precisión común para la inferencia, que usa 2 bytes por parámetro. 80 mil millones de parámetros × 2 bytes/parámetro = 160 GB de VRAM

Estos 160 GB son solo para los pesos del modelo. Se requiere VRAM adicional para la caché KV (que almacena la información de atención para el contexto), las activaciones y otros gastos generales operativos. Por lo tanto, en la práctica necesitarías más de 160 GB de VRAM para ejecutar el modelo sin cuantizar, especialmente con longitudes de contexto largas.

Requisitos de VRAM para diferentes tareas

Si bien la VRAM base para la carga del modelo es estática, el uso de VRAM dinámico fluctúa dependiendo de los detalles específicos de la tarea en cuestión. Esto se debe principalmente a la Caché KV, la longitud del contexto y el tamaño del lote. La caché KV almacena las claves y valores de atención para cada token de la secuencia de entrada, y su tamaño es un contribuyente principal al consumo dinámico de VRAM.

Generación de texto (por ejemplo, chatbots, resumen, escritura creativa)

• Longitud de contexto típica: Para IA conversacional o resumen de documentos cortos, la longitud del contexto puede ser relativamente pequeña (por ejemplo, unos pocos miles de tokens). Esto da como resultado una caché KV más pequeña y, por lo tanto, un uso de VRAM dinámico menor.
• Generación de texto largo: Para tareas como escribir artículos largos o mantener un historial de conversación muy extenso, el contexto crece, y con él la caché KV. El modelo Qwen3-Next admite un contexto muy largo de hasta 256 000 tokens, y utilizar esta capacidad completa conduciría a un aumento significativo en los requisitos de VRAM.

Por ejemplo, incluso en una configuración potente con 2 GPUs H20 (96 GB cada una), las entradas de 256k pueden provocar problemas de memoria.

De Hugging Face

Generación de código

• Contexto a nivel de repositorio: Una aplicación clave de los modelos avanzados de generación de código es comprender una base de código completa para tareas como agregar nuevas funcionalidades o depurar problemas complejos. En estos escenarios, el contexto de entrada puede ser muy grande, compuesto por múltiples archivos y decenas de miles de líneas de código. Esto aumentará sustancialmente la VRAM necesaria para la caché KV.
• Fragmentos de código simples: Por el contrario, generar una función pequeña y autónoma o completar una sola línea de código tendrá un impacto mínimo en la VRAM dinámica, similar a la generación de texto corto.

Variantes del modelo (Instruct vs. Thinking):

• La arquitectura central de las versiones “Instruct” y “Thinking” de Qwen3-Next-80B-A3B es la misma, con 80B de parámetros totales y 3B de parámetros activos. Por lo tanto, sus requisitos base de VRAM para la carga del modelo son idénticos. Sin embargo, el modelo “Thinking” puede generar pasos de razonamiento intermedios más largos, lo que podría conducir a un uso de VRAM dinámico ligeramente mayor durante tareas complejas de resolución de problemas.

En resumen, el requisito de VRAM no es inherentemente diferente para la “generación de texto” frente a la “generación de código”, sino que depende de la escala de la entrada y la salida de una tarea determinada. Una tarea compleja de generación de código con múltiples archivos requerirá más VRAM dinámico que un resumen de texto simple de un solo párrafo, y viceversa.

Recomendaciones de GPU para ejecutar Qwen3-Next-80B-A3B sin problemas

Rendimiento en CPU

Sí, el modelo Qwen3-Next 80B se puede ejecutar en una CPU. En la demostración, el presentador explicó que, aunque el modelo tiene 80 mil millones de parámetros, solo se activan alrededor de 3 mil millones durante la inferencia. Esto hace que la ejecución en CPU sea posible, algo que parecía imposible hace solo unas semanas.

La desventaja es la velocidad. Por ejemplo, cuando se le preguntó “¿Cuál es el país más pequeño del mundo?”, el modelo tardó 55 minutos en responder (Ciudad del Vaticano).

https://www.youtube.com/watch?v=F0dBClZ33R4

Rendimiento en GPU

El modelo Qwen3-Next 80B también se ejecuta en una sola GPU. Con cuatro o más GPUs, la velocidad, especialmente con contextos largos, se vuelve extremadamente rápida, casi vertiginosa. En términos de memoria, ejecutar el modelo en precisión completa requiere un poco más de 68 GB de VRAM.

Característica	NVIDIA A100 SXM	NVIDIA H100 SXM	NVIDIA H200 SXM	NVIDIA B200
Arquitectura de GPU	Ampere	Hopper	Hopper	Blackwell
Año de lanzamiento	2020	2022	2023	2024
Memoria (VRAM)	40GB o 80GB HBM2e	80GB HBM3	141GB HBM3e	192GB HBM3e
Ancho de banda de memoria	2.0 TB/s (para el modelo de 80GB)	3.35 TB/s	4.8 TB/s	8.0 TB/s
Interconexión	NVLink 3.0 (ancho de banda total de 600 GB/s)	NVLink 4.0 (ancho de banda total de 900 GB/s)	NVLink 4.0 (ancho de banda total de 900 GB/s)	NVLink 5.0 (ancho de banda total de 1.8 TB/s)
Rendimiento máximo FP16/BF16	312 TFLOPS (Dispersión: 624 TFLOPS)	989 TFLOPS (Dispersión: 1 979 TFLOPS)	989 TFLOPS (Dispersión: 1 979 TFLOPS)	2 250 TFLOPS (Dispersión: 4 500 TFLOPS)
Soporte de nueva precisión	TF32	FP8	FP8	FP4, FP6
Innovación clave	GPU de instancia múltiple (MIG), TF32	Motor Transformer (soporte FP8), DPX	Memoria HBM3e más rápida y mayor (141GB)	Motor Transformer de 2.ª generación (soporte FP4/FP6), diseño chiplet Blackwell
Potencia máxima típica (TDP)	Hasta 400W	Hasta 700W	Hasta 1000W	Hasta 1200W

• A100 SXM: La GPU basada en Ampere que revolucionó la IA al introducir la precisión TF32 y la GPU de instancia múltiple (MIG) para un mejor rendimiento y utilización de recursos.
• H100 SXM: Actualizada a la arquitectura Hopper, su actualización clave fue el Motor Transformer con soporte FP8, acelerando drásticamente el entrenamiento de IA para modelos Transformer.
• H200 SXM: Una evolución de la H100, su actualización principal es la adopción de memoria HBM3e más rápida y de mayor capacidad (141GB), aumentando significativamente el ancho de banda de memoria para la inferencia de modelos grandes.
• B200: Un salto importante a la arquitectura Blackwell, introduce un diseño de doble chiplet y un Motor Transformer de 2.ª generación con soporte de nuevas precisiones FP4/FP6, ofreciendo ganancias de rendimiento masivas para modelos de IA de billones de parámetros.

Si quieres experimentar el modelo mediante despliegue local, Novita AI ofrece servicios de instancias de GPU asequibles y estables. También ofrece una opción de precios spot para minimizar aún más los costos, ayudándote a probar las capacidades del modelo.

¡Usa GPU ahora!

Minimizar el uso de VRAM manteniendo el rendimiento

Varias técnicas pueden ayudar a reducir la huella de VRAM de Qwen3-Next-80B-A3B, haciendo que el modelo sea más fácil de ejecutar en una gama más amplia de hardware.

La cuantización es el enfoque más efectivo. Al convertir los pesos del modelo de formatos de mayor precisión (como FP16) a otros de menor precisión, el uso de memoria se reduce significativamente.

• INT8 (8 bits): Reduce las necesidades de VRAM para los pesos aproximadamente a la mitad en comparación con FP16. Para el modelo de 80B, esto reduce el requisito a alrededor de 80 GB.
• INT4 (4 bits): Reduce la VRAM para los pesos aproximadamente un 75% en comparación con FP16, bajando el requisito a aproximadamente 40 GB.

El formato GGUF se usa ampliamente para ejecutar modelos en CPUs y Macs, pero también tiene aplicaciones en GPU. Una ventaja clave para los modelos de mezcla de expertos como Qwen3-Next es que GGUF permite descargar algunas capas de expertos a la RAM del sistema, reduciendo los requisitos de VRAM a costa de un rendimiento más lento cuando se activan esas capas.

La descarga en CPU va un paso más allá: partes del modelo, especialmente las capas de expertos poco utilizadas, pueden residir en la RAM del sistema y moverse a la VRAM solo cuando sea necesario. Esto reduce significativamente las demandas de VRAM pero genera latencia debido a las transferencias más lentas entre la RAM y la memoria de la GPU.

Se recomiendan encarecidamente los motores de inferencia especializados como vLLM o SGLang. Estos marcos están construidos para modelos de lenguaje grandes y usan optimizaciones como la gestión eficiente de la caché KV para reducir los gastos generales de memoria.

Flash Attention proporciona otra vía, ofreciendo una versión más eficiente en memoria y más rápida del algoritmo de atención al aprovechar de manera más efectiva la SRAM de alta velocidad de la GPU.

Finalmente, reducir la longitud del contexto puede ser una solución práctica. Si tu aplicación no necesita contextos muy largos, reducir la longitud máxima de contexto reduce directamente el tamaño de la caché KV y ahorra VRAM.

Prueba Qwen3-Next-80B-A3B de forma sencilla: Usa la API

Novita AI es una plataforma de IA en la nube que ofrece a los desarrolladores una forma sencilla de desplegar modelos de IA mediante nuestra API simple.

Qwen3-Next-80B-A3B Instruct cuesta $0.15/M por entrada y $1.5/M por salida, con un contexto de 65 536 tokens.

Qwen3-Next-80B-A3B Thinking también cuesta $0.15/M por entrada y $1.5/M por salida, con el mismo contexto de 65 536 tokens.

Paso 1: Inicia sesión y accede a la biblioteca de modelos

Inicia sesión en tu cuenta y haz clic en el botón Biblioteca de modelos.

¡Prueba Qwen 3 Next 80B A3B ahora!

Paso 2: Elige tu modelo

Explora las opciones disponibles y selecciona el modelo que se adapte a tus necesidades.

Paso 3: Inicia tu prueba gratuita

Comienza tu prueba gratuita para explorar las capacidades del modelo seleccionado.

Paso 4: Obtén tu clave de API

Para autenticarte con la API, te proporcionaremos una nueva clave de API. Entrando en la página de “Ajustes”, puedes copiar la clave de API como se indica en la imagen.

Paso 5: Instala la API

Instala la API usando el gestor de paquetes específico de tu lenguaje de programación.

Después de la instalación, importa las librerías necesarias en tu entorno de desarrollo. Inicializa la API con tu clave de API para empezar a interactuar con Novita AI LLM. Este es un ejemplo de uso de la API de finalizaciones de chat para usuarios de Python.

#Chat API
from openai import OpenAI

client = OpenAI(
    api_key="<Your API Key>",
    base_url="https://api.novita.ai/openai"
)

response = client.chat.completions.create(
    model="qwen/qwen3-next-80b-a3b-instruct",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Hello, how are you?"}
    ],
    max_tokens=65536,
    temperature=0.7
)

print(response.choices[0].message.content)

#Completion API
from openai import OpenAI

client = OpenAI(
    api_key="<Your API Key>",
    base_url="https://api.novita.ai/openai"
)

response = client.completions.create(
    model="qwen/qwen3-next-80b-a3b-instruct",
    prompt="The following is a conversation with an AI assistant.",
    max_tokens=65536,
    temperature=0.7
)

print(response.choices[0].text)

Uso de CLI como Trae, Claude Code, Qwen Code

Si quieres usar los modelos principales de Novita AI (como Qwen3-Coder, Kimi K2, DeepSeek R1) para asistencia de codificación con IA en tu entorno local o IDE, el proceso es sencillo: obtén tu clave de API, instala la herramienta, configura las variables de entorno y empieza a codificar.

Para obtener comandos de configuración detallados y ejemplos, consulta los tutoriales oficiales:

• Trae : Guía paso a paso para acceder a modelos de IA en tu IDE
• Claude Code:Cómo usar Kimi-K2 en Claude Code en Windows, Mac y Linux
• Qwen Code:Cómo usar la API compatible con OpenAI en Qwen Code (¡configuración en 60s!)

Flujos de trabajo de agentes múltiples con el SDK de Agentes de OpenAI

Crea sistemas avanzados de agentes múltiples integrando Novita AI con el SDK de Agentes de OpenAI:

• Listo para usar: Utiliza los LLMs de Novita AI en cualquier flujo de trabajo de Agentes de OpenAI.
• Soporta transferencias, enrutamiento y uso de herramientas: Diseña agentes que puedan delegar, clasificar o ejecutar funciones, todo impulsado por los modelos de Novita AI.
• Integración en Python: Simplemente configura el endpoint del SDK en https://api.novita.ai/v3/openai y usa tu clave de API.

Conecta la API en plataformas de terceros

API compatible con OpenAI: Disfruta de una migración e integración sin complicaciones con herramientas como Cline y Cursor, diseñadas para el estándar de API de OpenAI.

Hugging Face: Usa los modelos en Spaces, pipelines o con la librería Transformers a través de los endpoints de Novita AI.

Frameworks de agentes y orquestación: Conecta fácilmente Novita AI con plataformas asociadas como Continue, AnythingLLM,LangChain, Dify y Langflow mediante conectores oficiales y guías de integración paso a paso.

Qwen3-Next-80B-A3B es la prueba de que la innovación arquitectónica puede superar el escalado de parámetros por la fuerza. Al replantearse cómo se activan la atención y los expertos, ofrece resultados que igualan o superan a modelos mucho más grandes, mientras requiere una memoria drásticamente menor.

Para los profesionales, esto significa una experimentación más accesible, costos de infraestructura más bajos e iteración más rápida, todo sin sacrificar el rendimiento. La era de los 80B marca un punto de inflexión donde un diseño más inteligente, no solo el tamaño del modelo, dicta el liderazgo en la IA.

Preguntas frecuentes

¿Cómo puede competir un modelo de 80B con uno de 235B en puntos de referencia desafiantes?

Porque Qwen3-Next-80B-A3B emplea Atención Híbrida y MoE disperso para reducir los costos de computación sin perder capacidad de representación. Esto le permite igualar o incluso superar a los modelos de 235B en tareas como AIME25, LiveBench y LiveCodeBench.

¿Qué modelo es mejor para documentos largos o historial de conversación extendido?

La variante de 235B admite de forma nativa contextos de 262K hasta 1M de tokens, pero Qwen3-Next-80B-A3B también maneja hasta 256K tokens de manera eficiente. Para la mayoría de los casos de uso del mundo real, el modelo de 80B proporciona una gestión de contexto suficiente con tiempos de respuesta más rápidos y menor costo.

¿Está Qwen3-Next-80B-A3B mejor alineado con las preferencias humanas?

Sí. En puntos de referencia como Arena-Hard v2, la versión Instruct de Qwen3-Next-80B-A3B obtuvo una puntuación más alta que el modelo de 235B, mostrando una alineación y fiabilidad más fuertes incluso a escala menor.

Novita AI es una plataforma de IA en la nube que ofrece a los desarrolladores una forma sencilla de desplegar modelos de IA mediante nuestra API simple, además de proporcionar una nube de GPU asequible y fiable para construir y escalar.

Lecturas recomendadas

• ¡La API de Novita Kimi K2 ya soporta llamadas a funciones!
• ¿Por qué los requisitos de VRAM de Kimi K2 son un desafío para todos?
• Qwen3 Coder vs DeepSeek V3.1: Elegir el LLM adecuado para tu programación