Points clés
- Prise en charge multilingue complète : Llama 3.1 excelle dans le traitement de huit langues, ce qui le rend idéal pour les applications multilingues mondiales.
- Échelle massive et efficacité de calcul : Avec 405 milliards de paramètres, Llama 3.1 est optimisé pour les performances élevées sans ressources excessives.
- Performances de pointe sur tous les benchmarks : Il rivalise avec les meilleurs modèles comme GPT-4, excellant dans le codage, les mathématiques et les tâches à long contexte.
- Architecture et alignement améliorés : Des techniques avancées comme DPO alignent les sorties sur les préférences humaines, renforçant la fiabilité.
- Accessibilité open-source : Meta fournit un accès libre à Llama 3.1, favorisant la collaboration et l’innovation en IA.
- Capacités de codage et de raisonnement inégalées : Le modèle offre des performances de premier ordre en codage et en résolution de problèmes complexes.
Introduction
Dans le monde en évolution rapide de l’intelligence artificielle (IA), les grands modèles de langage (LLM) représentent certaines des meilleures nouvelles technologies. Ces modèles, entraînés sur d’énormes quantités de données, sont très doués pour comprendre et générer du texte qui semble avoir été écrit par un humain. Cet article de blog explore l’article Llama 3.1 de Meta. Il vous donnera un aperçu clair de sa conception, de ses capacités et de son importance en tant que modèle de base dans le domaine du NLP.
Aperçu de Llama 3.1
Le dernier modèle linguistique phare de Meta, Llama 3.1, avec 405 milliards de paramètres, démontre l’engagement de Meta envers l’avancement de l’IA. Il excelle dans diverses tâches et langues, ouvrant la voie à de nouveaux modèles basés sur la recherche et l’innovation de Meta.
Informations sur le modèle
La suite Meta Llama 3.1 comprend des grands modèles de langage (LLM) multilingues de tailles 8B, 70B et 405B, pré-entraînés et affinés pour des tâches de génération de texte. Ces modèles Llama 3.1 exclusivement textuels excellent dans les applications de dialogue multilingues et surpassent de nombreux benchmarks de l’industrie.
Le modèle prend officiellement en charge huit langues : anglais, allemand, français, italien, portugais, hindi, espagnol et thaï. L’entraînement sous-jacent suggère des capacités au-delà de ces langues.
Architecture du modèle
Llama 3.1 est un modèle de langage autorégressif basé sur une architecture transformer optimisée. Ses versions améliorées sont affinées via un supervisé fine-tuning (SFT) et un apprentissage par renforcement à partir des retours humains (RLHF), adaptées pour répondre aux normes humaines d’utilité et de sécurité.
En quoi Llama 3.1 diffère
Llama 3.1 se distingue des versions précédentes et des concurrents sur plusieurs aspects importants :
- Échelle : Avec 405 milliards de paramètres, il est nettement plus grand que ses prédécesseurs. L’article Llama 3.1 révèle : « Nous avons entraîné un modèle à une échelle beaucoup plus grande que les précédents modèles Llama : notre modèle phare a utilisé 3,8 × 10²⁵ FLOPs, près de 50 fois plus que la plus grande version de Llama 2. »
- Taille optimale en calcul : Le choix de 405 milliards de paramètres est stratégiquement basé sur les lois d’échelle, comme indiqué dans l’article Llama 3.1 : « Cette taille est optimale en calcul selon les lois d’échelle compte tenu de nos données et de notre budget d’entraînement. »
- Capacités multilingues : Llama 3.1 rivalise avec les meilleurs modèles d’IA comme GPT-4 sur divers benchmarks, l’article Llama 3.1 déclarant : « Notre évaluation expérimentale suggère que notre modèle phare correspond aux principaux modèles de langage comme GPT-4 dans une gamme de tâches, approchant les performances de pointe. »
Accéder et comprendre l’article Llama 3.1
L’article Llama 3.1 est une étape importante dans la communauté de l’IA open-source, fournissant des informations sur le robuste grand modèle de langage (LLM). Il explique l’architecture du modèle, les processus d’entraînement et les performances, favorisant l’apprentissage et l’innovation dans la compréhension des LLM et de leur fonctionnement, applications et limites.
- La valeur de l’article Llama 3.1 : L’article Llama 3.1 est essentiel pour les professionnels de l’IA car il offre des informations approfondies sur la conception du modèle, les évaluations de performances centrées sur l’humain et les approches de sécurité et d’alignement, favorisant la transparence et la confiance dans les systèmes d’IA.
- Téléchargement du PDF de l’article Llama 3.1 : L’engagement de Meta envers la science ouverte est illustré par la disponibilité gratuite du PDF de l’article Llama 3.1, améliorant l’accessibilité et encourageant un engagement plus large dans la recherche en IA.
Utilisation prévue
Llama 3.1 révolutionne la recherche en IA en offrant un modèle de langage puissant aux chercheurs du monde entier. Ses capacités linguistiques avancées profitent aux applications réelles comme l’amélioration des chatbots et des systèmes d’IA pour une meilleure communication dans le service client, l’éducation et la santé.
Cas d’utilisation prévus
Llama 3.1 est conçu pour des applications commerciales et de recherche dans plusieurs langues. Les modèles textuels affinés par instructions sont spécifiquement conçus pour des fonctions de chat de type assistant, tandis que les modèles pré-entraînés sont suffisamment polyvalents pour être adaptés à une gamme de tâches de génération de langage naturel. De plus, la collection de modèles Llama 3.1 facilite l’amélioration d’autres modèles grâce à l’utilisation de ses sorties, y compris la génération de données synthétiques et la distillation. La licence communautaire Llama 3.1 prend en charge ces divers cas d’utilisation.
Comment l’utiliser
Ce dépôt comprend deux versions de Meta-Llama-3.1–70B, une compatible avec transformers et l’autre avec le codebase Llama original.
Utilisation avec transformers
À partir de transformers >= 4.43.0, vous pouvez effectuer une inférence conversationnelle en utilisant l’abstraction de pipeline Transformers ou en utilisant les classes Auto avec la fonction generate().
Assurez-vous de mettre à jour votre installation transformers en exécutant pip install --upgrade transformers.
import transformers
import torch
model_id = "meta-llama/Meta-Llama-3.1-70B"
pipeline = transformers.pipeline(
"text-generation",
model=model_id,
torch_dtype=torch.bfloat16,
device_map="auto",
)
pipeline("Hey how are you doing today?")
Jeu de données d’entraînement de Llama 3.1
Le jeu de données de pré-entraînement de Llama 3.1 était un mélange soigneusement sélectionné et équilibré de divers domaines généraux, minutieusement traité pour garantir des entrées d’entraînement de haute qualité et diversifiées.
Données de pré-entraînement
La construction du jeu de données comprend quatre étapes principales :
- Filtrage de qualité : Les légendes non anglaises et de faible qualité sont supprimées à l’aide de mesures heuristiques comme les scores CLIP.
- Déduplication perceptuelle : Un modèle interne de détection de copie SSCD déduplique les images à grande échelle, en conservant une paire image-texte par groupe de doublons.
- Rééchantillonnage : Pour garantir la diversité, des n-grammes sont créés à partir de sources textuelles de haute qualité, et les données sont rééchantillonnées en fonction de leurs fréquences.
- Reconnaissance optique de caractères (OCR) : Le texte dans les images est extrait à l’aide d’un pipeline OCR propriétaire et combiné avec les légendes.
Pour améliorer la compréhension des documents, le jeu de données comprend également :
- Transcription de documents : Les pages de documents sont rendues sous forme d’images avec du texte apparié.
- Sécurité du contenu : Des techniques comme le hachage perceptuel sont utilisées pour éliminer le contenu dangereux tel que le CSAM.
- Le jeu de données est affiné à environ 350 millions de paires image-légende et enrichi avec 150 millions d’exemples supplémentaires provenant de diverses sources, y compris l’ancrage visuel, l’analyse de captures d’écran, les paires question-réponse, les légendes synthétiques et les images structurées générées synthétiquement.
Données post-entraînement
Données SFT :
- Pour les images : Les jeux de données académiques sont transformés en paires Q&A via des modèles et des réécritures LLM. Des annotateurs humains créent des dialogues diversifiés à partir de données multimodales pour améliorer le contenu généré par le modèle.
- Pour les données synthétiques : Les représentations textuelles des images sont utilisées avec des LLM d’entrée de texte pour créer des paires question-réponse pour les images correspondantes. Ce processus implique la conversion de textes Q&A et de données tabulaires en images synthétiques en utilisant des légendes et des extractions OCR pour générer des données conversationnelles.
- Pour les vidéos : Les jeux de données académiques avec annotations sont transformés en instructions textuelles et réponses cibles pour les questions. Les humains annotent des vidéos avec des questions et réponses complexes nécessitant plus d’une seule image pour le contexte.
Données de préférence :
Le jeu de données inclut les sorties du modèle notées « choisies » ou « rejetées » sur une échelle de 7 points, avec des annotations humaines pour les préférences et les corrections. Des paires de préférence synthétiques sont créées à l’aide de LLM purement textuels pour introduire des erreurs dans le jeu de données d’affinage, générant des échantillons négatifs via un échantillonnage de rejet à partir de réponses de haute qualité non sélectionnées.
Application du DPO à Llama 3.1
Meta a implémenté l’optimisation directe des préférences (DPO) comme partie cruciale du processus post-entraînement de Llama 3.1 pour mieux aligner le modèle sur les préférences humaines. Voici un aperçu de la façon dont ce processus a été mené :
Configuration initiale :
- Le processus commence par l’entraînement sur des données de préférence annotées par des humains, en s’appuyant sur les modèles les plus performants des cycles d’alignement précédents.
- L’objectif principal est de garantir que les données d’entraînement correspondent étroitement à la distribution du modèle de politique optimisé dans chaque cycle, ce qui aide à améliorer progressivement les performances du modèle.
- Collecte de données de préférence :
- Les données de préférence sont recueillies auprès d’annotateurs humains qui évaluent plusieurs réponses générées par le modèle pour chaque invite. Ces évaluations sont basées sur la qualité et la préférence des réponses, avec des classements clairs tels que modifié > choisi > rejeté.
- Ces données englobent les réponses triées en différents niveaux de préférence (significativement meilleur, meilleur, légèrement meilleur, ou marginalement meilleur) et incluent parfois des réponses modifiées pour affiner davantage la réponse choisie.
Expérimentation de Llama 3.1
Les expériences visuelles de Llama 3.1 évaluent ses performances en reconnaissance d’images et de vidéos. Les expériences vocales montrent ses capacités de reconnaissance vocale. Les résultats mettent en évidence la résilience du modèle et ses applications potentielles en IA.
Expériences visuelles de Llama 3.1
Résultats de reconnaissance d’images
- Le modèle Llama 3-V 405B surpasse GPT-4V dans tous les benchmarks, bien qu’il soit légèrement en retrait par rapport à Gemini 1.5 Pro et Claude 3.5 Sonnet.
- Il montre une force particulière dans les tâches de compréhension de documents.
Résultats de reconnaissance vidéo
- Llama 3 excelle en reconnaissance vidéo, en particulier avec les modèles à 8B et 70B paramètres évalués.
- Il performe exceptionnellement bien sur le PerceptionTest, indiquant une capacité robuste pour le raisonnement temporel complexe.
- Dans les tâches de compréhension d’activités de longue durée, telles que ActivityNet-QA, Llama 3 fournit des résultats solides même s’il ne traite que jusqu’à 64 images. Cela signifie que pour une vidéo de trois minutes, le modèle ne traite qu’une image toutes les trois secondes.
Expériences vocales de Llama 3.1
Un système de synthèse vocale (TTS) en streaming en temps réel fait désormais partie de Llama 3, créant des formes d’onde vocales lors du décodage. Ce système TTS utilise les embeddings de Llama 3 pour améliorer la latence, la précision et le naturel lors de l’inférence.
Qu’est-ce que le recuit et comment fonctionne-t-il ?
L’entraînement de grands modèles de langage comme Llama 3.1 implique un « recuit », qui affine le modèle pour de meilleures performances sur les tâches. Le terme est emprunté à la métallurgie, où le recuit durcit les matériaux en les chauffant et en les refroidissant lentement.
Le processus de recuit pour Llama 3.1 comprend plusieurs composants clés :
- Réduction progressive du taux d’apprentissage : Le taux d’apprentissage est systématiquement réduit à zéro, stabilisant les paramètres et améliorant la généralisation en minimisant le surapprentissage.
- Suréchantillonnage de données de haute qualité : Le mélange de données d’entraînement est ajusté pour prioriser les sources de haute qualité, améliorant les performances et la précision du modèle.
- Moyenne de Polyak : Cette technique fait la moyenne des paramètres de différents points de contrôle pendant le recuit pour créer un modèle pré-entraîné stable.
Dans l’ensemble, le processus de recuit assure une convergence fluide, améliore la stabilité via des mises à jour de paramètres plus petites et aboutit à un modèle robuste et précis, bien équipé pour la généralisation à de nouvelles données.
Amélioration des capacités de codage, multilingues et plus de Llama 3.1
L’accent a été mis sur l’amélioration des capacités de Llama 3.1 grâce à un entraînement supplémentaire en codage, capacités multilingues, raisonnement mathématique, gestion de longs contextes, utilisation d’outils, précision et contrôlabilité. Des évaluations humaines et des annotations ont garanti des performances de qualité supérieure dans ces fonctionnalités optimisées.
Compétences en codage de Llama 3.1
Llama 3.1 montre des performances robustes sur une gamme de benchmarks de codage. Les évaluations utilisent la métrique pass@N, qui mesure le taux de réussite d’un ensemble de tests unitaires sur N générations. Principales conclusions :
Génération de code Python :
- HumanEval : Llama 3 8B obtient 72,6±6,8, 70B atteint 80,5±6,1, et 405B atteint 89,0±4,8.
- MBPP : Llama 3 8B obtient 60,8±4,3, 70B atteint 75,4±3,8, et 405B atteint 78,8±3,6.
- HumanEval+ : Les résultats sont 67,1±7,2 pour Llama 3 8B, 74,4±6,7 pour 70B, et 82,3±5,8 pour 405B.
Génération de code en plusieurs langages de programmation :
- Les évaluations sont effectuées à l’aide de MultiPL-E, qui propose des traductions de problèmes de HumanEval et MBPP dans divers langages de programmation tels que C++, Java, PHP, TypeScript et C#.
- Pour HumanEval en C++ : Llama 3 8B obtient 52,8 ±7,7, et Llama 3 405B atteint 82,0 ±5,9.
- Pour MBPP en C++ : Llama 3 8B obtient 53,7 ±4,9, et Llama 3 405B atteint 67,5 ±4,6.
Capacités mathématiques et de raisonnement de Llama 3.1
Llama 3.1 a montré des performances remarquables sur divers benchmarks mathématiques et de raisonnement, soulignant sa compétence dans ces domaines. Voici les principaux résultats des évaluations :
GSM8K (8-shot, Chaîne de pensée — CoT) :
- Llama 3 8B : 57,2±2,7
- Llama 3 70B : 83,0±7,4
- Llama 3 405B : 90,0±5,9
MATH (0-shot, CoT) :
- Llama 3 8B : 20,3±1,1
- Llama 3 70B : 41,4±1,4
- Llama 3 405B : 53,8±1,4
ARC Challenge (0-shot) :
- Llama 3 8B : 79,7±2,3
- Llama 3 70B : 92,9±1,5
- Llama 3 405B : 96,1±1,1
Meta a rencontré plusieurs défis pour améliorer les capacités mathématiques et de raisonnement de Llama 3.1, notamment :
- Manque d’invites
- Manque de chaîne de pensée de vérité terrain
- Étapes intermédiaires incorrectes
- Apprendre aux modèles à utiliser des outils externes
- Écart entre l’entraînement et l’inférence
Comment Llama 3.1 performe-t-il dans les scénarios à long contexte ?
Llama 3.1 excelle dans les benchmarks à long contexte, démontrant sa capacité à gérer et récupérer efficacement des informations à partir de longs documents. Voici les principaux résultats d’évaluation :
- Aiguille dans une botte de foin : Il atteint un taux de réussite de 100 % dans la récupération d’informations cachées à partir de longs documents et des résultats presque parfaits dans la variante Multi-aiguilles.
- ZeroSCROLLS : Les modèles 405B et 70B égalent ou surpassent les concurrents dans la compréhension du langage naturel sur des textes longs.
- InfiniteBench : Le modèle 405B surpasse tous les concurrents dans les tâches nécessitant une compréhension de long contexte, excelle notamment dans le question-réponse sur des romans (En.QA).
Après avoir examiné l’article LLaMA 3.1, ses contributions académiques brillent dans des scénarios réels. L’API LLM simplifie la recherche complexe pour les développeurs en comblant efficacement le fossé entre la théorie académique et la mise en œuvre pratique. Explorons comment l’API LLM y parvient.
Utiliser les variantes de Llama 3.1 sur Novita.AI
Novita AI est une plateforme robuste pour gérer les modèles Llama 3.1, offrant une interface intuitive et des API puissantes qui simplifient l’intégration dans des applications réelles. Elle automatise la gestion du système, met à l’échelle les ressources efficacement et garantit des performances élevées tout en priorisant la sécurité et la confidentialité des données. En permettant un accès facile aux LLM avancés, Novita AI permet aux développeurs et aux entreprises d’accélérer les projets d’IA et de stimuler l’innovation dans divers secteurs.
Comment déployer l’API LLM sur Novita.AI ?
Suivez ces étapes structurées avec soin pour développer des applications de traitement du langage puissantes en utilisant l’API Llama 3.1 sur Novita AI. Ce guide détaillé garantit un processus fluide et efficace, répondant aux besoins des développeurs modernes à la recherche d’une plateforme d’IA avancée.
Étape 1 : Inscrivez-vous et connectez-vous à Novita AI
Étape 2 : Accédez à l’onglet Tableau de bord sur Novita AI pour obtenir votre clé API. Vous pouvez également choisir de créer une nouvelle clé.
Étape 3 : Après avoir atteint la page de gestion des clés, cliquez sur « Copier » pour récupérer facilement votre clé.
Étape 4 : Allez dans la référence API LLM pour découvrir les « API » et « Modèles » proposés par Novita AI.
Étape 5 : Choisissez le modèle qui correspond le mieux à vos besoins. Configurez votre environnement de développement et ajustez les paramètres comme le contenu, le rôle, le nom et l’invite détaillée en conséquence.
Étape 6 : Effectuez plusieurs tests pour confirmer les performances constantes de l’API.
Comment expérimenter le LLM Playground sur Novita AI ?
Avant de déployer officiellement l’API LLM sur Novita AI, vous pouvez l’explorer et l’expérimenter dans le LLM Playground. Nous offrons aux développeurs un quota d’utilisation gratuit. Ensuite, je vais vous guider étape par étape dans le processus de démarrage.
Étape 1 : Accédez au Playground : Allez dans l’onglet Produits du menu, sélectionnez Model API, et commencez à explorer en choisissant l’API LLM.
Étape 2 : Sélectionnez parmi divers modèles : Choisissez le modèle llama qui correspond le mieux à vos besoins d’évaluation.
Étape 3 : Saisissez votre invite et générez la sortie : Entrez l’invite que vous souhaitez utiliser dans le champ désigné. Cette zone est celle où vous tapez le texte ou la question pour que le modèle la traite.
Conclusion
L’article Llama 3.1 parle d’un nouveau modèle qui possède des compétences étonnantes dans de nombreux domaines. Il couvre tout, de la construction du modèle aux résultats des tests et à ses utilisations possibles. Ce guide fournit des informations utiles pour les passionnés de technologie et les chercheurs. Si vous voulez en savoir plus, vous devriez consulter le PDF de l’article Llama 3.1. Cela vous aidera à comprendre ses compétences en mathématiques, en raisonnement et sa capacité à travailler dans différentes langues. Llama 3.1 a le pouvoir de changer le fonctionnement de l’IA. Ses différentes versions sur Novita.AI offrent de grandes opportunités pour utiliser cette technologie. Explorez l’IA avancée avec Llama 3.1 pour un changement notable.
Questions fréquemment posées
Llama 3.1 peut-il être utilisé pour générer du contenu créatif ?
Oui, Llama 3.1 peut générer du contenu créatif. Ses fonctionnalités d’IA générative lui permettent de produire différents types de texte. Cela inclut des poèmes, des scripts, et même de la musique. Cela montre sa polyvalence dans de nombreuses utilisations créatives.
Comment Llama 3.1 gère-t-il la confidentialité des utilisateurs et la sécurité des données ?
Llama 3.1 intègre Llama Guard pour garantir la confidentialité des utilisateurs et la sécurité des données, promouvant une utilisation responsable de l’IA. Il empêche les abus, soutient les choix éthiques et utilise le chiffrement pour la sécurité des données.
Llama 3.1 est-il meilleur que GPT-4 ?
Si vous privilégiez la précision et l’efficacité dans les tâches de codage, Llama 3 pourrait être le meilleur choix.
Qu’est-ce que Llama 3.1 405B ?
Les modèles Llama 3.1, avec 8B, 70B et 405B paramètres, montrent des performances de premier ordre sur les benchmarks de l’industrie et offrent de nouvelles capacités pour les applications d’IA générative.
Pourquoi llama est-il un grand événement ?
Llama, une avancée significative en IA, offre des capacités impressionnantes et une accessibilité ouverte. Sa publication démocratise la recherche en IA, favorisant la créativité et la collaboration pour stimuler l’innovation dans divers domaines.
Publié initialement sur Novita AI
Novita AI est la plateforme cloud tout-en-un qui propulse vos ambitions en IA. API intégrées, sans serveur, instance GPU — les outils rentables dont vous avez besoin. Éliminez l’infrastructure, commencez gratuitement, et réalisez votre vision de l’IA.
Lectures recommandées
1.Améliorez vos projets avec l’intégration de l’API Llama 3.1
