L'API du modèle MoE BaiDu ERNIE 4.5 est désormais disponible sur Novita AI

ERNIE 4.5, le modèle Mixture-of-Experts (MoE) à poids ouverts de pointe de Baidu, est désormais disponible sur Novita AI !

Voici les tarifs actuels d’ERNIE 4.5 sur Novita AI :

baidu/ernie-4.5-vl-28b-a3b** :** 30k de contexte, gratuit

baidu/erine-4.5–21B-a3b** :** 120k de contexte, gratuit

baidu/erine-4.5–0.3b** :** 120k de contexte, gratuit

baidu/erine-4.5-vl-424b-a47b** :** 123k de contexte, 0,42 $/M tokens en entrée, 1,25 $/M tokens en sortie

baidu/ernie-4.5–300b-a47b-paddle** :** 123k de contexte, 0,3 $/M tokens en entrée, 1 $/M tokens en sortie

Essayez la démo d’ERNIE-4.5-300B-A47B maintenant

Qu’est-ce qu’ERNIE 4.5 ?

ERNIE 4.5 est la dernière série de modèles open source de Baidu, comprenant 10 modèles différents. La gamme inclut des modèles Mixture-of-Experts (MoE) avec 47 milliards et 3 milliards de paramètres activés — le plus grand modèle atteint un total de 424 milliards de paramètres — ainsi qu’un modèle dense avec 0,3 milliard de paramètres.

Innovation architecturale : Ces modèles utilisent une structure de modèle hétérogène multimodale innovante qui réalise une fusion de connaissances inter-modale via un mécanisme de partage de paramètres cross-modal, tout en conservant des espaces de paramètres dédiés pour chaque modalité individuelle. Cette architecture est particulièrement adaptée au paradigme de pré-entraînement continu, des grands modèles de langage aux modèles multimodaux, améliorant considérablement les capacités de compréhension multimodale tout en maintenant, voire en améliorant, les performances sur les tâches textuelles.

Cadre et entraînement : Tous les modèles de la série ERNIE 4.5 sont entraînés, inférés et déployés efficacement à l’aide du cadre d’apprentissage profond PaddlePaddle. Lors du pré-entraînement des grands modèles de langage, l’utilisation des FLOPs du modèle (MFU) atteint 47 %.

Performances et capacités

Résultats de référence : Les résultats expérimentaux montrent que cette série de modèles atteint des performances de pointe (SOTA) sur de nombreux benchmarks textuels et multimodaux, avec des résultats particulièrement remarquables dans :

• Suivi d’instructions – Compréhension et exécution de commandes complexes
• Rétention de connaissances du monde – Stockage et rappel de connaissances factuelles complètes
• Compréhension visuelle – Capacités avancées de compréhension d’images
• Tâches de raisonnement multimodal – Raisonnement complexe sur des entrées textuelles et visuelles

Spécifications du modèle (ERNIE-4.5-300B-A47B) :

• Paramètres totaux : 300B avec 47B activés par token
• Architecture : 54 couches, 64 têtes de requête / 8 têtes clé-valeur
• Configuration des experts : 64 experts texte (8 activés) / 64 experts vision (8 activés)
• Longueur de contexte : 131 072 tokens
• Modalité : Texte avec capacités d’entraînement multimodal

Accessibilité et déploiement :

• Licence Apache 2.0 – Les poids du modèle sont open source pour la recherche académique et les applications industrielles
• Boîte à outils de développement de niveau industriel – Basée sur la suite complète de PaddlePaddle avec le support d’ERNIEKit
• Large compatibilité avec les puces – Fonctionne sur diverses plateformes matérielles, réduisant les barrières pour le post-entraînement et le déploiement
• Performances d’inférence excellentes – Plusieurs options de déploiement incluant FastDeploy, Transformers et l’intégration vLLM
• Quantification flexible – Options 4 bits, 2 bits et FP8 pour différentes contraintes de ressources

Innovations techniques

Pré-entraînement du modèle Mixture of Experts multimodal

L’approche : ERNIE 4.5 effectue un entraînement conjoint sur les modalités textuelles et visuelles afin de mieux capturer les différences subtiles dans les informations multimodales, améliorant les performances en génération de texte, compréhension d’image et tâches de raisonnement multimodal.

L’innovation : Pour permettre un enrichissement mutuel entre les deux modalités pendant l’apprentissage tout en évitant qu’une modalité n’entrave l’apprentissage de l’autre, Baidu propose une structure de modèle mixture of experts hétérogène multimodale avec :

• Routage isolé par modalité pour une allocation spécialisée des experts
• Perte orthogonale du routeur pour renforcer la spécialisation des experts
• Perte d’équilibrage des tokens multimodaux pour une utilisation optimale des ressources entre les modalités

Optimisation avancée : Ces choix architecturaux garantissent que les deux modalités sont représentées efficacement, permettant une promotion et une amélioration multimodales mutuelles durant l’entraînement.

Cadre d’entraînement et d’inférence efficace

Optimisations de l’entraînement : Pour supporter l’entraînement efficace des modèles ERNIE 4.5, Baidu propose des stratégies de parallélisme hybride hétérogène et d’équilibrage de charge hiérarchique. Grâce à plusieurs technologies avancées, ils améliorent considérablement le débit de pré-entraînement :

• Parallélisme intra-nœud des experts – Traitement parallèle optimisé au sein des nœuds de calcul
• Ordonnancement de pipeline économe en mémoire – Gestion intelligente de la mémoire pendant l’entraînement
• Entraînement en précision mixte FP8 – Techniques avancées de précision numérique
• Re-calcul granulaire – Re-calcul stratégique pour l’efficacité mémoire

Avancées en inférence : Pour l’optimisation de l’inférence, ils proposent plusieurs méthodes de pointe :

• Méthode de collaboration parallèle multi-expert – Traitement collaboratif entre les experts du modèle
• Algorithme de quantification par code convolutif – Techniques de codage avancées pour la compression
• Quantification quasi sans perte – Réalisation d’une quantification 4 bits et 2 bits avec une dégradation minimale des performances
• Dissociation PD avec changement de rôle dynamique – Déploiement adaptatif qui utilise plus pleinement les ressources et améliore les performances d’inférence des modèles MoE ERNIE 4.5

Post-entraînement spécifique à la modalité

Optimisation sur mesure : Pour répondre aux différentes exigences des scénarios pratiques, Baidu effectue un fine-tuning spécifique à la modalité sur les modèles pré-entraînés :

Grands modèles de langage (LLM) :

• Optimisés spécifiquement pour la compréhension et la génération générales du langage

Modèles vision-langage (VLM) :

• Axés sur la compréhension visuelle-langagière
• Supportent les modes de réflexion et de non-réflexion

Pipeline d’entraînement multi-étapes : Chaque modèle utilise un post-entraînement multi-étapes avec des techniques avancées :

• SFT (Supervised Fine-Tuning) – Apprentissage à partir d’exemples supervisés
• DPO (Direct Preference Optimization) – Optimisation directe basée sur les préférences
• UPO (Unified Preference Optimization) – Technique propriétaire d’optimisation unifiée des préférences de Baidu

Déploiement et intégration

Les modèles ERNIE-4.5 peuvent être déployés à l’aide de FastDeploy, Hugging Face Transformers ou vLLM. Différents niveaux de quantification et cadres de service permettent aux modèles de fonctionner efficacement sur diverses configurations matérielles :

• Les modèles en pleine précision nécessitent de nombreux GPU (généralement 16 GPU avec au moins 80 Go de VRAM chacun).
• Les modèles quantifiés (comme WINT4, W4A8C8 ou WINT2) réduisent considérablement les besoins en VRAM. Par exemple, WINT4 ou W4A8C8 peuvent fonctionner sur 4 à 8 GPU de 80 Go, tandis que WINT2 permet un déploiement sur un seul GPU si vous disposez d’au moins 141 Go de VRAM.
• L’intégration Transformers permet une utilisation flexible mais nécessite toujours une VRAM substantielle pour les grands modèles.
• vLLM est idéal pour l’inférence multi-GPU à haut débit. Les modèles quantifiés aident à s’adapter à la mémoire GPU disponible.
• Échantillonnage recommandé : Température=0,8, Top-P=0,8

Comment accéder à ERNIE 4.5-300B-A47B sur Novita AI

Pour commencer avec ERNIE 4.5-300B-A47B sur Novita AI, le processus est simplifié et sans risque. Les nouveaux utilisateurs reçoivent $10 de crédits gratuits — suffisants pour explorer ERNIE 4.5-300B-A47B sans frais initiaux.

Utiliser le Playground (sans codage requis)

Accès instantané : Inscrivez-vous, réclamez vos crédits gratuits et commencez à expérimenter avec ERNIE 4.5 et d’autres modèles en quelques secondes.

Interface interactive : Testez des prompts, le raisonnement en chaîne de pensée et visualisez les résultats en temps réel.

Comparaison de modèles : Basculez facilement entre ERNIE 4.5, Qwen 3, Llama 4, DeepSeek, etc., pour trouver la solution parfaite à vos besoins.

Intégrer via l’API (pour les développeurs)

Connectez ERNIE 4.5 à vos applications, workflows ou chatbots en toute simplicité grâce à l’API REST unifiée de Novita AI. Pas de gestion des poids du modèle ni de problèmes d’infrastructure — Novita AI fournit des SDK multi-langues (Python, Node.js, cURL) et des contrôles avancés des paramètres.

Option 1 : Intégration API directe (exemple Python)

curl "https://api.novita.ai/v3/openai/chat/completions" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer " \
  -d @- << 'EOF'
{
    "model": "baidu/ernie-4.5-300b-a47b-paddle",
    "messages": [
        {
            "role": "system",
            "content": Be a helpful assistant
        },
        {
            "role": "user",
            "content": "Hi there!"
        }
from openai import OpenAI
  
client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    api_key="",
)

model = "baidu/ernie-4.5-300b-a47b-paddle"
stream = True # or False
max_tokens = 6000
system_content = ""Be a helpful assistant""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": system_content,
        },
        {
            "role": "user",
            "content": "Hi there!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
    temperature=temperature,
    top_p=top_p,
    presence_penalty=presence_penalty,
    frequency_penalty=frequency_penalty,
    response_format=response_format,
    extra_body={
      "top_k": top_k,
      "repetition_penalty": repetition_penalty,
      "min_p": min_p
    }
  )

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)
  
      "response_format": { "type": "text" },
    "max_tokens": 32768,
    "temperature": 1,
    "top_p": 1,
    "min_p": 0,
    "top_k": 50,
    "presence_penalty": 0,
    "frequency_penalty": 0,
    "repetition_penalty": 1
}
EOF
  
 

Option 2 : Workflows multi-agents avec OpenAI Agents SDK

Construisez des systèmes multi-agents avancés en intégrant Novita AI au OpenAI Agents SDK :

• Prêt à l’emploi : Utilisez ERNIE 4.5 de Novita AI dans n’importe quel workflow OpenAI Agents
• Prend en charge les transferts, le routage et l’utilisation d’outils : Concevez des agents capables de déléguer, trier ou exécuter des fonctions, le tout propulsé par les capacités d’ERNIE 4.5
• Intégration Python : Pointez simplement le SDK vers le point de terminaison de Novita (https://api.novita.ai/v3/openai) et utilisez votre clé API

Connecter l’API ERNIE 4.5 sur des plateformes tierces

• Hugging Face : Utilisez ERNIE 4.5 dans Spaces, pipelines ou avec la bibliothèque Transformers via les points de terminaison Novita AI.

• Frameworks d’agents et d’orchestration : Connectez facilement Novita AI à des plateformes partenaires comme Continue, AnythingLLM, LangChain, Dify et Langflow grâce à des connecteurs officiels et des guides d’intégration étape par étape.

• API compatible OpenAI : Profitez d’une migration et d’une intégration sans souci avec des outils tels que Cline et Cursor, conçus pour la norme API OpenAI.

Conclusion

ERNIE 4.5 est une série de modèles d’IA open source polyvalente qui combine une architecture avancée Mixture-of-Experts avec un apprentissage multimodal innovant. Elle offre des performances puissantes et efficaces à la fois pour les tâches de langage et de vision, ce qui en fait une base solide pour les applications d’IA de nouvelle génération.

Prêt à découvrir l’avenir du raisonnement IA ? Essayez ERNIE 4.5 sur Novita AI.

Novita AI est une plateforme cloud d’IA qui offre aux développeurs un moyen simple de déployer des modèles d’IA via notre API simple, tout en fournissant un cloud GPU abordable et fiable pour construire et passer à l’échelle.