Le Mixture of Experts (MoE) est rapidement devenu l’un des choix de conception les plus importants pour mettre à l’échelle les grands modèles linguistiques actuels. Au lieu d’activer tous les paramètres pour chaque jeton, le MoE achemine sélectivement les entrées via un petit ensemble d’experts, équilibrant efficacité et capacité de modèle massive. Ce changement architectural permet aux développeurs de créer des modèles comptant des centaines de milliards de paramètres tout en maîtrisant les coûts d’inférence.
Dans cet article, nous présentons les bases du MoE, mettons en évidence les différences architecturales entre les meilleurs modèles MoE et vous montrons comment y accéder en pratique.
Brève introduction au Mixture-of-Experts (MoE)
Le Mixture-of-Experts (MoE) est une méthode d’apprentissage automatique qui décompose un modèle IA en plusieurs sous-réseaux, appelés « experts », chacun étant entraîné à traiter une partie spécifique des données d’entrée, qui travaillent ensuite ensemble pour accomplir la tâche. Le MoE utilise un ensemble de modèles spécialisés ainsi qu’un mécanisme de porte pour choisir dynamiquement les « réseaux d’experts » les plus adaptés pour traiter chaque entrée.
Fonctionnement du MoE
1. Réseau de porte (routeur)
Au cœur du MoE se trouve le réseau de porte, qui décide quels experts doivent traiter chaque jeton d’entrée. Au lieu d’envoyer chaque jeton à tous les experts, le routeur active sélectivement les plus pertinents, garantissant à la fois efficacité et spécialisation.
2. MoE vs Dense
Le MoE (Mixture of Experts) fonctionne en acheminant chaque jeton via seulement un petit sous-ensemble d’experts choisis par la porte. Cette approche permet au modèle d’augmenter considérablement sa capacité globale tout en maintenant le coût de calcul réel abordable. Différents experts se spécialisent dans différents motifs d’entrée, permettant des performances accrues sur des tâches complexes sans augmenter linéairement la puissance de calcul.
À l’inverse, les modèles Denses envoient chaque jeton via tous les experts ou toutes les couches, ce qui rend la conception simple mais coûteuse en calcul. La différence clé est que le MoE exploite l’activation sélective pour l’efficacité, tandis que les modèles Denses reposent sur une activation complète pour chaque entrée.
MoE
Dense
Référence : A Survey on Mixure of Experts in Large Language Model. (Disponible : https://arxiv.org/abs/2407.06204)
Principaux avantages du MoE
Le MoE est devenu le choix de conception dominant dans les systèmes IA de pointe grâce à ses avantages uniques :
- Capacité massive avec calcul maîtrisé : Le MoE épars permet aux modèles d’augmenter considérablement le nombre de paramètres sans augmentation correspondante de la demande de calcul. Cette conception suit le principe du calcul conditionnel, où les ressources sont allouées uniquement lorsque nécessaire, ce qui permet d’entraîner des modèles avec une capacité bien plus grande que les homologues denses pour un même coût de calcul.
- Spécialisation des experts : Différents experts se spécialisent naturellement dans des motifs ou des tâches distincts, améliorant les performances sur une large gamme d’entrées et permettant des capacités plus riches dans les LLM à grande échelle.
- Efficacité lors de l’entraînement et de l’inférence : Le MoE épars n’active qu’un petit sous-ensemble d’experts par jeton, réduisant la charge importante des modèles denses et améliorant l’utilisation des ressources dans les grands clusters d’entraînement.
- Scénarios de déploiement pratiques : Les MoE épars sont particulièrement efficaces dans les environnements à haut débit avec accès à de nombreuses machines, où ils fournissent des résultats plus optimaux sous un budget de calcul fixe. Les modèles denses peuvent toujours convenir aux paramètres à faible débit ou à une VRAM très limitée, car leur simplicité les rend plus pratiques pour des déploiements à petite échelle.
- Flexibilité du routage : Avec des stratégies de routage comme le gating top-1 ou top-2, le MoE épars atteint un équilibre entre efficacité de calcul et puissance expressive, s’adaptant à différentes charges de travail et exigences de mise à l’échelle.
Avec ces avantages, il n’est pas surprenant que le MoE ait été largement adopté dans les grands modèles linguistiques de pointe. Dans la section suivante, nous examinerons certains des modèles basés sur le MoE les plus influents en 2025, en explorant comment ils implémentent et tirent parti de cette architecture.
Modèles MoE de pointe en 2025
Aperçu des modèles MoE open source : analyse approfondie de l’architecture
| Modèle | Paramètres totaux | Paramètres activés | Taille du pool d’experts | Experts actifs par jeton |
| GPT OSS 120B | 116.8B avec 36 couches | 5.1B | 128 | 4 |
| GPT OSS 20B | 20.9B avec 24 couches | 3.6B | 32 | 4 |
| DeepSeek V3.1 | 671B | 37B | 256 Routés + 1 Partagé | 8 |
| GLM 4.5 | 335B | 32B | 160 | 8 |
| Kimi K2 0905 | 1T avec 61 couches | 32B | 384 Routés + 1 Partagé | 8 |
| Qwen3 Coder | 480B avec 62 couches | 35B | 160 | 8 |
| Llama 4 Scout | 109B | 17B | 16 | Non spécifié |
Chaque modèle met en évidence des priorités différentes grâce à sa conception architecturale.
- Les DeepSeek V3.1 et Kimi K2 0905 s’appuient sur des pools d’experts exceptionnellement grands avec plusieurs experts actifs par jeton, une configuration qui maximise la spécialisation et offre des performances solides sur des tâches de raisonnement complexes et à plusieurs étapes.
- Le GPT-OSS 120B, en revanche, adopte une approche plus équilibrée, combinant un pool d’experts de taille moyenne avec une activation modérée, ce qui le rend adapté aux applications enterprise où stabilité et échelle doivent coexister.
- Le GPT-OSS 20B adopte une configuration plus légère avec moins d’experts, optimisée pour des scénarios où la latence et l’efficacité des coûts sont primordiales, comme les chatbots en temps réel ou les déploiements à ressources limitées.
- Le Qwen3 Coder met l’accent sur les tâches orientées code avec une configuration MoE équilibrée, combinant une forte capacité de raisonnement et une activation efficace pour offrir des performances fiables pour les applications de développement.
- Le Llama 4 Scout présente une conception MoE compacte avec un petit pool d’experts et une charge d’activation réduite, se positionnant comme une option pratique pour des applications à faible latence ou de type edge.
Ces variations illustrent comment les configurations MoE peuvent être ajustées pour s’aligner sur différents objectifs de déploiement, de l’exploration à l’échelle de la recherche et des systèmes agentiques avancés à l’inférence légère et prête pour la production.
Ce qui reste constant, cependant, c’est la demande d’infrastructure de calcul fiable. Exécuter des modèles avec des milliards, voire des trillions de paramètres, nécessite non seulement des GPU puissants, mais aussi des interconnexions à haut débit et des pipelines optimisés. Pour la plupart des équipes, cela crée une forte incitation à utiliser des instances de GPU cloud et des services API gérés, qui suppriment la charge de maintenance des clusters locaux tout en donnant toujours accès aux capacités MoE de pointe.
Comment accéder aux meilleurs modèles MoE ?
Déploiement local
| Modèle | VRAM (approx.) | Quantisation | Matériel recommandé |
| GPT OSS 120B | 80 Go | MXFP4 | H100 x1 |
| GPT OSS 20B | 16 Go | MXFP4 | RTX 4090 x1 |
| DeepSeek V3.1 | 1,34 To | 16 bits | Cluster 8 cartes H200 |
| GLM 4.5 | 717 Go | 16 bits | H100 x 16 / H200 x 8 |
| Kimi K2 0905 | 2,05 To | 16 bits | H100/A100 80Go (x32) |
| Qwen3 Coder | 290 Go | Q4_K_M | A6000 x2 |
| Llama 4 Scout 17B | 216 Go | Int4 | H100 x1 |
Bien que les meilleurs modèles MoE puissent être déployés localement avec des exigences GPU massives, Novita AI propose des GPU cloud optimisés, supprimant la complexité de la gestion d’infrastructures coûteuses. Pour explorer les options flexibles et trouver le plan adapté à votre charge de travail, consultez notre page Tarifs.
Intégration API
Vous voulez une méthode encore plus simple ? Choisissez simplement les API de Novita AI !
Novita AI propose des API pour tous les meilleurs modèles MoE , avec des fenêtres de contexte long à des prix très compétitifs !
Étape 1 : Connectez-vous et accédez à la bibliothèque de modèles
Connectez-vous ou créez un compte, puis cliquez sur le bouton Bibliothèque de modèles.
Essayez les meilleurs modèles gratuitement !
Étape 2 : Choisissez votre modèle
Parcourez les options disponibles et sélectionnez le modèle qui correspond à vos besoins.
Étape 3 : Démarrez votre essai gratuit
Commencez votre essai gratuit pour explorer les capacités du modèle sélectionné.
Étape 4 : Obtenez votre clé API
Pour vous authentifier auprès de l’API, nous vous fournirons une nouvelle clé API. En accédant à la page « Paramètres », vous pouvez copier la clé API comme indiqué sur l’image.
Étape 5 : Installez l’API
Installez l’API à l’aide du gestionnaire de paquets spécifique à votre langage de programmation.
Cliquez ici pour consulter le tutoriel détaillé.
Questions fréquentes
Qu’est-ce qu’un modèle Mixture-of-Experts (MoE) ?
Le MoE est une architecture de réseau neuronal dans laquelle de nombreux modules « experts » existent, mais seul un petit sous-ensemble est activé pour chaque entrée. Cela augmente la capacité totale sans coût de calcul proportionnel.
En quoi les modèles MoE diffèrent-ils des modèles denses ?
Les modèles denses activent tous les paramètres pour chaque entrée. Les modèles MoE n’activent sélectivement que quelques experts par jeton, ce qui les rend plus efficaces en termes de calcul à grande échelle.
Que sont les experts routés et les experts partagés ?
Les experts routés sont choisis dynamiquement par un routeur pour chaque jeton, tandis qu’un expert partagé est toujours disponible en solution de secours pour garantir la stabilité et l’équité du routage.
Novita AI est une plateforme cloud IA qui offre aux développeurs un moyen simple de déployer des modèles IA grâce à notre API intuitive, tout en fournissant un cloud GPU abordable et fiable pour la construction et la mise à l’échelle.
