Mixtral of Experts désigne Mixtral 8x7B et Mixtral 8x22B utilisant SMoE. Découvrez les fonctionnalités et les applications de Mixtral of Experts sur notre blog.
Points clés
- Mixtral 8x7B et Mixtral 8x22B sont des modèles de langage open source de premier plan développés par Mistral AI.
- Ces modèles utilisent une architecture Sparse Mixture of Experts (SMoE), Mixtral 8x22B n’utilisant que 39 milliards de paramètres actifs sur 141 milliards.
- Mixtral excelle dans diverses tâches, notamment la génération de code, la compréhension multilingue et le traitement de contextes longs, surpassant des modèles de langage plus volumineux en termes de performances.
- Ses performances exceptionnelles, associées à sa nature open source, font de Mixtral un outil puissant pour les développeurs souhaitant intégrer des capacités d’IA avancées dans leurs applications.
Introduction
Le domaine du traitement automatique du langage naturel (NLP) évolue constamment. De nouvelles avancées continuent d’améliorer nos capacités, le modèle Mixtral en étant un parfait exemple. Fonctionnant sur un mélange d’approches expertes au sein d’une architecture Transformer, Mixtral sera examiné en détail dans ce guide. Ce blog couvrira ses caractéristiques, ses fonctionnalités et ses applications potentielles dans les secteurs dépendants du traitement du langage.
Qu’est-ce que Mixtral of Experts ?
Que sont Mixtral 7B et Mixtral 8x22B ?
Mixtral 8x7B et Mixtral 8x22B, développés par Mistral AI, sont des modèles de langage avancés de grande taille. Mixtral 8x7B et Mixtral 8x22B sont des modèles open source aux poids bien connus pour leur grande efficacité. Ces modèles sont accessibles sous licence Apache 2.0, garantissant une meilleure accessibilité. Ils sont particulièrement utiles pour les tâches nécessitant personnalisation et réglage fin, offrant des performances plus rapides, une meilleure portabilité et un meilleur contrôle comme caractéristiques clés.
Qu’est-ce qu’un Sparse Mixture of Experts ?
Mixtral utilise une approche sparse mixture of experts (SMoE) pour l’efficacité. Au lieu d’utiliser tous les paramètres simultanément, il utilise un réseau routeur pour sélectionner un petit groupe d’experts pour chaque jeton d’entrée. Cette sélection ciblée améliore les performances en se concentrant sur les composants pertinents du modèle et est effectuée par un réseau de portes dans la couche MoE. En activant uniquement les paramètres essentiels, Mixtral atteint un débit plus élevé et traite les informations plus rapidement, ce qui le rend idéal pour les tâches NLP complexes avec de grands ensembles de données.
Capacités de Mixtral
En tirant parti d’innovations telles que Grouped-Query Attention (GQA) et Sliding Window Attention (SWA), Mixtral excelle dans la gestion rapide de tâches complexes en utilisant le parallélisme de modèle. Mixtral peut diviser des problèmes complexes en problèmes plus simples grâce à des stratégies d’entraînement avancées. La somme pondérée des sorties de divers experts dans la couche MoE améliore ses performances en capturant des complexités que les modèles à structure unique pourraient manquer.
Caractéristiques techniques de Mixtral of Experts
Mixtral 8x7B
- Capacités multilingues en anglais, français, italien, allemand et espagnol
- Performances solides en codage
- Affiné en modèle de suivi d’instructions
- Fenêtre de contexte de 32k tokens
Mixtral 8x22B
- Fenêtre de contexte de 64K tokens
- Courant en anglais, français, italien, allemand et espagnol
- Solides capacités en mathématiques et en codage
- Prend en charge nativement l’appel de fonction
Benchmark de performance de Mixtral
Voici un graphique des performances de Mixtral 8x22B et Mixtral 8x7B. Il provient de modèles fournis par la communauté. Mixtral 8x22B est le dernier modèle de la famille de modèles ouverts de Mistral. Avec ses schémas d’activation épars, c’est une alternative beaucoup plus puissante au modèle 70B et surpasse les autres modèles à poids ouverts. Sa disponibilité en tant que modèle de base le rend idéal pour le réglage fin de divers cas d’utilisation.
En matière de capacités de raisonnement, Mixtral 8x7B et Mixtral 8x22B surpassent également Llama 2 70B, le modèle fondamental actuel pour étendre les grands modèles de langage à des langues largement parlées mais sous-représentées dans les données d’entraînement de ces modèles.
Ces modèles Mixtral of experts montrent de grandes capacités en codage et en mathématiques. Mixtral surpasse son prédécesseur, Llama 2 70B, en utilisant seulement 13 milliards de paramètres actifs par jeton, une réduction significative par rapport à 70 milliards pour économiser les coûts de calcul.
Novita AI propose ces deux modèles. Vous pouvez consulter les informations détaillées sur notre API de modèle LLM.
Applications pratiques de Mixtral
La prouesse technique de Mixtral va au-delà de ses capacités. Sa capacité à générer du texte semblable à du texte humain le rend idéal pour le codage, la traduction linguistique et la création de contenu. Étant open source, Mixtral est accessible à un large éventail d’industries. Les développeurs peuvent adapter le modèle à des besoins spécifiques car il facilite le développement de nouvelles méthodes et applications.
Génération de contenu
L’une des principales applications de Mistral of Experts et de tout LLM est de générer du texte à partir de vos invites initiales. Au cœur de cette fonctionnalité se trouve l’entraînement approfondi du modèle sur des ensembles de données diversifiés contenant une grande quantité de texte provenant de divers domaines. Grâce à cet entraînement approfondi, le modèle peut maîtriser différents styles d’écriture, sujets et structures linguistiques, lui permettant d’exceller dans la production de texte répondant à des exigences spécifiques de ton ou de contenu.
Analyse des émotions
L’analyse des émotions de Mistral, alimentée par l’apprentissage profond, détecte avec précision les émotions positives, négatives et neutres dans le texte lors de la conversation. Il exploite un entraînement approfondi sur divers ensembles de données pour déduire les tons émotionnels et différencier les émotions dans différents types de contenu. Vous pouvez demander à Mistral d’analyser les émotions dans un texte spécifique.
Exemple de code pour Mixtral 8x22B
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
# Obtenez la clé API Novita AI en vous référant à : /docs/get-started/quickstart.htmll#_3-create-an-api-key
api_key="<VOTRE Clé API Novita AI>",
)
model = "cognitivecomputations/dolphin-mixtral-8x22b"
stream = True # ou False
max_tokens = 512
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": "Agissez comme si vous étiez un assistant utile.",
},
{
"role": "user",
"content": "Bonjour !",
}
],
stream=stream,
max_tokens=max_tokens,
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
Traduction de texte et tâches multilingues
Mistral démontre également d’excellentes capacités dans le traitement de tâches multilingues. Spécifiquement entraîné, Mistral peut comprendre et générer du texte dans plusieurs langues, notamment le français, l’allemand, l’espagnol et l’italien. Mistral est particulièrement utile pour les entreprises et les utilisateurs qui ont besoin de communiquer dans plusieurs langues.
Génération de code
Avec l’entrée donnée, le modèle Mistral of Experts excelle dans la génération de code, convertissant des descriptions de haut niveau en code efficace dans plusieurs langages de programmation. Il utilise l’entraînement à partir de dépôts de code, de documentation technique et de forums de développeurs pour répondre aux exigences et garantir la fonctionnalité et l’optimisation.
Exemple de code pour Mixtral 8x7B
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
# Obtenez la clé API Novita AI en vous référant à : /docs/get-started/quickstart.htmll#_3-create-an-api-key
api_key="<VOTRE Clé API Novita AI>",
)
model = "Nous-Hermes-2-Mixtral-8x7B-DPO"
stream = True # ou False
max_tokens = 512
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": "Agissez comme si vous étiez un assistant utile.",
},
{
"role": "user",
"content": "Bonjour !",
}
],
stream=stream,
max_tokens=max_tokens,
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
Guide du développeur pour tirer parti de Mixtral : API LLM
Ajouter le modèle Mixtral aux applications est une opportunité passionnante pour les développeurs. Il est open source et personnalisable selon les besoins spécifiques. Pour utiliser Mixtral efficacement, les développeurs doivent comprendre son fonctionnement et ses API. Nous recommandons Novita AI pour une intégration économique de l’API LLM, car cette plateforme d’API IA est équipée de modèles phares et de solutions LLM abordables.
Commencer avec l’API Novita AI
- Étape 1 : Accédez à Novita AI et créez un compte. Vous pouvez vous connecter avec Google ou GitHub. Votre première connexion créera un nouveau compte. Il est possible de s’inscrire en utilisant votre adresse e-mail.
- Étape 2 : Gérez la clé API. Novita AI authentifie l’accès à l’API en utilisant l’authentification Bearer avec une clé API dans l’en-tête de la requête. Allez dans “Gestion des clés” pour gérer vos clés. Une fois connecté, une clé par défaut est automatiquement créée. Vous pouvez également cliquer sur “+ Ajouter une nouvelle clé”.
- Étape 3 : Effectuez un appel API. Allez dans Référence de l’API Modèle, et entrez votre clé API pour continuer les tâches suivantes.
Voici un exemple avec un client Python utilisant l’API Chat Completions de Novita AI.
pip install 'openai>=1.0.0'
from openai import OpenAIclient = OpenAI(
base_url="https://api.novita.ai/v3/openai",
# Obtenez la clé API Novita AI en vous référant à : https://novita.ai/docs/get-started/quickstart.html#_2-manage-api-key.
api_key="<VOTRE Clé API Novita AI>",
)model = "Nous-Hermes-2-Mixtral-8x7B-DPO"
stream = True # ou False
max_tokens = 512chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": "Agissez comme si vous étiez un assistant utile.",
},
{
"role": "user",
"content": "Bonjour !",
}
],
stream=stream,
max_tokens=max_tokens,
)if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
- Étape 4. Rechargez votre crédit. Comme mentionné dans la première étape, vous disposez d’un bon avec des crédits pour essayer nos produits, mais il est limité. Pour ajouter plus de crédit, veuillez visiter Facturation et paiements et suivez le guide sur Méthodes de paiement.
Conclusion
En conclusion, Mixtral of Experts avec MoE comme architecture centrale est une nouvelle technologie qui combine des fonctionnalités intelligentes d’IA avec une utilisation réelle dans différents secteurs. Il fonctionne mieux dans des tâches spécifiques comme la génération de code, d’histoires et la traduction. Cela en fait un outil spécial dans le monde numérique actuel de l’apprentissage automatique. Les entreprises peuvent exploiter toute leur puissance en utilisant Mixtral avec les systèmes actuels et en suivant les bonnes pratiques. Cela les aidera à être plus créatives et à garder une longueur d’avance sur la concurrence. Adoptez la force de Mixtral pour réussir dans le monde en évolution rapide de l’IA.
FAQ
Quelle est la différence entre Mistral et Mixtral ?
Mixtral, avec son architecture Sparse Mixture of Experts, possède des capacités améliorées par rapport à Mistral. Il excelle dans les tâches linguistiques complexes avec rapidité et efficacité, nécessitant moins de puissance de calcul.
Sur quoi Mixtral est-il entraîné ?
Mixtral a subi un entraînement avec une taille de contexte étendue de 32 000 tokens et démontre des performances comparables à Llama 2 70B et GPT-3.5 sur différents benchmarks.
Mixtral a-t-il besoin d’un GPU ?
Pour effectuer l’inférence avec Mixtral 8X22B, un GPU avec un minimum de 300 Go de mémoire est nécessaire. Pour Mixtral 8x7B, environ 94 Go de VRAM seraient nécessaires selon les directives standard.
Mixtral peut-il être utilisé à des fins commerciales ?
Mixtral 8x7B et Mixtral 8x7B — Instruct sont tous deux disponibles sous licence Apache 2.0, permettant une utilisation à la fois académique et commerciale.
Novita AI est la plateforme cloud tout-en-un qui permet vos ambitions en IA. API intégrées, sans serveur, instance GPU — les outils rentables dont vous avez besoin. Éliminez l’infrastructure, commencez gratuitement, et réalisez votre vision de l’IA.
Lectures recommandées
1.Présentation de Mixtral-8x22B : Le modèle de langage expert mixte le plus récent et le plus grand
2.Les secrets de Mixtral 8x22b révélés : Un guide complet
3.Présentation du modèle Mixtral 8x7B de Mistral : Tout ce que vous devez savoir
