La Mezcla de Expertos (MoE) ha surgido rápidamente como una de las decisiones de diseño más importantes para escalar los modelos de lenguaje grandes actuales. En lugar de activar cada parámetro por cada token, el MoE enruta selectivamente las entradas a través de un pequeño conjunto de expertos, equilibrando eficiencia y capacidad de modelo masiva. Este cambio arquitectónico permite a los desarrolladores crear modelos con cientos de miles de millones de parámetros manteniendo los costos de inferencia controlados.
En este artículo, presentamos los conceptos básicos del MoE, destacamos las diferencias arquitectónicas entre los principales modelos MoE y te mostramos cómo acceder a ellos en la práctica.
Breve introducción a la Mezcla de Expertos (MoE)
La Mezcla de Expertos (MoE) es un método de aprendizaje automático que descompone un modelo de IA en múltiples subredes, denominadas “expertos”, cada una entrenada para manejar una parte concreta de los datos de entrada, que luego trabajan juntas para completar la tarea. El MoE utiliza un conjunto de modelos especializados junto con un mecanismo de compuerta para elegir dinámicamente las “redes de expertos” más adecuadas para procesar cada entrada.
Cómo funciona el MoE
1. Red de compuerta (Enrutador)
En el núcleo del MoE se encuentra la red de compuerta, que decide qué expertos deben procesar cada token de entrada. En lugar de enviar cada token a todos los expertos, el enrutador activa selectivamente los más relevantes, garantizando tanto eficiencia como especialización.
2. MoE vs Denso
El MoE (Mezcla de Expertos) funciona enrutando cada token solo a través de un pequeño subconjunto de expertos elegidos por la compuerta. Este enfoque permite al modelo expandir su capacidad general de forma significativa manteniendo el cálculo real asequible. Diferentes expertos se especializan en distintos patrones de entrada, lo que permite un rendimiento más fuerte en tareas complejas sin escalar el cálculo de forma lineal.
Por el contrario, los modelos densos envían cada token a través de todos los expertos o capas, lo que hace que el diseño sea sencillo pero computacionalmente costoso. La diferencia clave es que el MoE aprovecha la activación selectiva para la eficiencia, mientras que los modelos densos dependen de la activación completa para cada entrada.
MoE
Denso
Referencia: A Survey on Mixure of Experts in Large Language Model. (Disponible en: https://arxiv.org/abs/2407.06204)
Ventajas clave del MoE
El MoE se ha convertido en la elección de diseño dominante en los sistemas de IA de vanguardia gracias a sus ventajas únicas:
- Capacidad masiva con cálculo controlado: El MoE disperso permite a los modelos escalar parámetros de forma drástica sin un aumento correspondiente en la demanda computacional. Este diseño sigue el principio de cálculo condicional, donde los recursos se asignan solo cuando se necesitan, lo que hace posible entrenar modelos con una capacidad muy superior a la de sus equivalentes densos con el mismo costo de cálculo.
- Especialización de expertos: Diferentes expertos se especializan naturalmente en patrones o tareas distintas, lo que mejora el rendimiento en una amplia gama de entradas y permite capacidades más ricas en los LLM a gran escala.
- Eficiencia en entrenamiento e inferencia: El MoE disperso activa solo un pequeño subconjunto de expertos por token, reduciendo la gran sobrecarga de los modelos densos y mejorando la utilización de recursos en clústeres de entrenamiento grandes.
- Escenarios de despliegue prácticos: Los MoE dispersos son particularmente efectivos en entornos de alto rendimiento con acceso a muchas máquinas, donde ofrecen resultados más óptimos con un presupuesto de cálculo fijo. Los modelos densos aún pueden ser adecuados para entornos de bajo rendimiento o VRAM muy limitada, ya que su simplicidad los hace más prácticos para despliegues a pequeña escala.
- Flexibilidad en el enrutamiento: Con estrategias de enrutamiento como la compuerta top-1 o top-2, el MoE disperso logra un equilibrio entre eficiencia computacional y poder expresivo, adaptándose a diferentes cargas de trabajo y requisitos de escalado.
Con estas ventajas, no es de extrañar que el MoE haya sido ampliamente adoptado en los modelos de lenguaje grandes de vanguardia. En la siguiente sección, veremos algunos de los modelos basados en MoE más influyentes de 2025, explorando cómo implementan y se benefician de esta arquitectura.
Modelos MoE de vanguardia en 2025
Resumen de los modelos MoE de código abierto: Análisis profundo de la arquitectura
| Modelo | Parámetros totales | Parámetros activados | Tamaño del grupo de expertos | Expertos activos por token |
| GPT OSS 120B | 116.8B con 36 capas | 5.1B | 128 | 4 |
| GPT OSS 20B | 20.9B con 24 capas | 3.6B | 32 | 4 |
| DeepSeek V3.1 | 671B | 37B | 256 enrutados + 1 compartido | 8 |
| GLM 4.5 | 335B | 32B | 160 | 8 |
| Kimi K2 0905 | 1T con 61 capas | 32B | 384 enrutados + 1 compartido | 8 |
| Qwen3 Coder | 480B con 62 capas | 35B | 160 | 8 |
| Llama 4 Scout | 109B | 17B | 16 | No especificado |
Cada modelo resalta diferentes prioridades a través de su diseño arquitectónico.
- DeepSeek V3.1 y Kimi K2 0905 se basan en grupos de expertos excepcionalmente grandes con múltiples expertos activos por token, una configuración que maximiza la especialización y ofrece un rendimiento sólido en tareas de razonamiento complejo y de múltiples pasos.
- Por otro lado, el GPT-OSS 120B adopta un enfoque más equilibrado, combinando un grupo de expertos de tamaño mediano con una activación moderada, lo que lo hace adecuado para aplicaciones empresariales donde la estabilidad y la escala deben coexistir.
- El GPT-OSS 20B adopta una configuración más ligera con menos expertos, optimizada para escenarios donde la latencia y la eficiencia de costos son primordiales, como chatbots en tiempo real o despliegues con recursos limitados.
- El Qwen3 Coder hace hincapié en tareas orientadas al código con una configuración MoE equilibrada, combinando una fuerte capacidad de razonamiento y activación eficiente para ofrecer un rendimiento fiable en aplicaciones para desarrolladores.
- El Llama 4 Scout presenta un diseño MoE compacto con un pequeño grupo de expertos y una carga de activación reducida, posicionándose como una opción práctica para aplicaciones de baja latencia o de nivel borde.
Estas variaciones ilustran cómo las configuraciones MoE se pueden ajustar para alinearse con diferentes objetivos de despliegue: desde la exploración a escala de investigación y sistemas agenticos avanzados hasta la inferencia ligera lista para producción.
Lo que se mantiene constante, sin embargo, es la demanda de infraestructura de cálculo fiable. Ejecutar modelos con miles de millones o incluso billones de parámetros requiere no solo GPU potentes, sino también interconexiones de alto ancho de banda y tuberías optimizadas. Para la mayoría de los equipos, esto crea un fuerte incentivo para aprovechar las instancias de GPU en la nube y los servicios API gestionados, que eliminan la carga de mantener clústeres locales mientras siguen proporcionando acceso a capacidades MoE de vanguardia.
¿Cómo acceder a los principales modelos MoE?
Despliegue local
| Modelo | VRAM (aprox.) | Cuantización | Hardware recomendado |
| GPT OSS 120B | 80 GB | MXFP4 | H100 x1 |
| GPT OSS 20B | 16 GB | MXFP4 | RTX 4090 x1 |
| DeepSeek V3.1 | 1,34 TB | 16-bit | Clúster de 8 tarjetas H200 |
| GLM 4.5 | 717 GB | 16-bit | H100 x 16 / H200 x 8 |
| Kimi K2 0905 | 2,05 TB | 16-bit | H100/A100 80GB (x32) |
| Qwen3 Coder | 290 GB | Q4_K_M | A6000 x2 |
| Llama 4 Scout 17B | 216 GB | Int4 | H100 x1 |
Si bien los principales modelos MoE se pueden desplegar localmente con requisitos masivos de GPU, Novita AI proporciona GPU en la nube optimizadas, eliminando la complejidad de gestionar infraestructura de alto costo. Para explorar opciones flexibles y encontrar el plan que se adapte a tu carga de trabajo, visita nuestra página de Precios.
Integración con API
¿Quieres una forma aún más sencilla? ¡Solo elige las APIs de Novita AI!
Novita AI ofrece APIs para todos los principales modelos MoE, con ventanas de contexto largo a precios muy competitivos!
Paso 1: Inicia sesión y accede a la biblioteca de modelos
Inicia sesión o regístrate en tu cuenta y haz clic en el botón de Biblioteca de modelos.
¡Prueba los principales modelos gratis!
Paso 2: Elige tu modelo
Explora las opciones disponibles y selecciona el modelo que se adapte a tus necesidades.
Paso 3: Inicia tu prueba gratuita
Comienza tu prueba gratuita para explorar las capacidades del modelo seleccionado.
Paso 4: Obtén tu clave de API
Para autenticarte con la API, te proporcionaremos una nueva clave de API. Al entrar en la página de “Configuración”, puedes copiar la clave de API como se indica en la imagen.
Paso 5: Instala la API
Instala la API usando el gestor de paquetes específico de tu lenguaje de programación.
Haz clic aquí para consultar el tutorial detallado.
Preguntas frecuentes
¿Qué es un modelo de Mezcla de Expertos (MoE)?
El MoE es una arquitectura de red neuronal en la que existen muchos módulos “expertos”, pero solo se activa un pequeño subconjunto para cada entrada. Esto aumenta la capacidad total sin un costo de cálculo proporcional.
¿En qué se diferencian los modelos MoE de los modelos densos?
Los modelos densos activan todos los parámetros para cada entrada. Los modelos MoE activan selectivamente solo unos pocos expertos por token, lo que los hace más eficientes en cálculo a gran escala.
¿Qué son los expertos enrutados y los expertos compartidos?
Los expertos enrutados son elegidos dinámicamente por un enrutador para cada token, mientras que un experto compartido está siempre disponible como respaldo para garantizar la estabilidad y la equidad en el enrutamiento.
Novita AI es una plataforma de IA en la nube que ofrece a los desarrolladores una forma sencilla de desplegar modelos de IA mediante nuestra API simple, además de proporcionar una nube de GPU asequible y fiable para construir y escalar.
