Introduction
Récemment, un LLM avec seulement 70 milliards de paramètres a surpassé GPT-3. Ce LLM, appelé Chinchilla, a été développé par Hoffmann et ses collègues. Dans leurs travaux, ils affirment que les LLM actuels ne sont pas optimaux en calcul. Pourquoi cela ? Comment entraînent-ils leur LLM dit optimal en calcul, Chinchilla ? Quelles sont les limites de leur approche et comment pouvons-nous les surmonter ? Dans cet article, nous examinerons ces questions une par une.
Que sont les modèles de langage volumineux optimaux en calcul ?
L’idée centrale d’un LLM optimal en calcul est de trouver le bon équilibre entre la taille du modèle (nombre de paramètres) et la quantité de données d’entraînement utilisées. Cela contraste avec les approches précédentes qui augmentaient la taille du modèle de manière plus agressive que les données d’entraînement, produisant des modèles nettement sous-entraînés par rapport à leur capacité.
Quelles sont les caractéristiques principales d’un LLM optimal en calcul ?
Caractéristique 1 : Mise à l’échelle équilibrée de la taille du modèle et des données d’entraînement
Plutôt que d’augmenter la taille du modèle de façon exponentielle tout en n’augmentant que progressivement les données d’entraînement, les LLM optimaux en calcul augmentent à la fois la taille du modèle et les données d’entraînement en proportions égales. Cela garantit que la capacité du modèle est pleinement utilisée par les données d’entraînement disponibles.
Caractéristique 2 : Optimisation de l’efficacité globale du calcul
L’objectif est de trouver le point idéal entre la taille du modèle et les données d’entraînement qui offre la meilleure performance par unité de calcul. Cela permet de maximiser la capacité du modèle dans le cadre d’un budget de calcul fixe, plutôt que de simplement pousser la taille du modèle vers de nouveaux records.
Caractéristique 3 : Moins de ressources de calcul pour le réglage fin et l’inférence
Cela améliore encore leur efficacité et leur praticité dans le monde réel, car le déploiement et l’utilisation du modèle deviennent plus rentables.
Ces LLM populaires ne sont-ils pas optimaux en calcul ?
Malheureusement, selon Hoffmann et al. (2022), ces LLM populaires ne sont pas optimaux en calcul. Revenons d’abord aux idées qui ont influencé les LLM actuels.
L’accent mis sur la taille du modèle
Des recherches antérieures de Kaplan et al. (2020) ont démontré une relation de loi de puissance convaincante entre la taille du modèle de langage et ses performances. Plus précisément, ils ont constaté qu’à mesure que le nombre de paramètres d’un modèle augmentait de façon exponentielle, les performances du modèle sur divers bancs d’essai s’amélioraient à un taux constant de loi de puissance.
Ce travail fondateur a eu un impact profond sur le domaine des grands modèles de langage (LLM), amenant les chercheurs et les ingénieurs à se concentrer massivement sur l’augmentation de la taille du modèle comme principal axe d’amélioration. La logique était claire : si les performances évoluent de manière aussi prévisible avec la taille du modèle, alors le chemin vers de meilleurs LLM doit être simplement de construire des modèles de plus en plus grands.
Recentrage sur la quantité de données d’entraînement
Hoffmann et al. (2022) soutiennent que cette focalisation unique sur la mise à l’échelle du modèle a eu un coût important. Ils affirment que les LLM actuels les plus avancés sont en fait gravement sous-entraînés, l’accent de la recherche étant mis sur l’augmentation de la taille du modèle plutôt que sur l’augmentation proportionnelle de la quantité de données d’entraînement.
Cette critique est une contribution cruciale de leur article. Les auteurs soutiennent que le domaine a perdu de vue le compromis fondamental modèle-données, devenant obsédé par la poussée de la taille du modèle vers de nouveaux records sans garantir que ces modèles soient entraînés sur une quantité proportionnée de données de haute qualité. Le résultat, selon eux, est une situation où les LLM peuvent avoir des nombres de paramètres impressionnants, mais sont en fin de compte sous-optimaux dans leurs performances compte tenu des ressources de calcul investies dans leur entraînement.
En recentrant l’attention sur ce compromis central entre capacité du modèle et données d’entraînement, les auteurs préparent le terrain pour leur investigation empirique sur l’équilibre véritablement optimal entre ces deux facteurs clés. Leurs conclusions, détaillées dans les sections suivantes, offrent un nouveau paradigme pour développer des modèles de langage volumineux efficaces en calcul.
Comment entraîner des modèles de langage volumineux optimaux en calcul ?
Dans cette section, nous approfondirons l’article de Hoffmann et al. (2022) intitulé « Training Compute-Optimal Large Language Models ». Comme toujours, si les détails de recherche vous semblent trop techniques, retenez simplement cette conclusion et passez cette section : pour un entraînement optimal en calcul, la taille du modèle et le nombre de tokens d’entraînement doivent être mis à l’échelle de manière égale — pour chaque doublement de la taille du modèle, le nombre de tokens d’entraînement doit également doubler.
Estimation empirique du compromis optimal modèle-données
Pour étudier le compromis optimal entre la taille du modèle et les données d’entraînement, les auteurs entraînent plus de 400 modèles allant de 70 millions à 16 milliards de paramètres, sur des ensembles de données de 5 à 500 milliards de tokens. Ils modélisent la perte de pré-entraînement finale en fonction à la fois de la taille du modèle et du nombre de tokens d’entraînement.
Résultats clés
Les auteurs constatent que pour un entraînement optimal en calcul, la taille du modèle et le nombre de tokens d’entraînement doivent être mis à l’échelle de manière égale — pour chaque doublement de la taille du modèle, le nombre de tokens d’entraînement doit également doubler. Cela contraste avec les recommandations de Kaplan et al., qui suggéraient une augmentation plus faible des tokens d’entraînement par rapport à la taille du modèle.
Entraînement d’un modèle optimal en calcul : Chinchilla
En appliquant leurs résultats, les auteurs entraînent un modèle de 70 milliards de paramètres appelé Chinchilla, en utilisant le même budget de calcul que le modèle Gopher de 280 milliards de paramètres. Chinchilla surpasse significativement Gopher, GPT-3, Jurassic-1 et Megatron-Turing NLG sur un large éventail de tâches en aval, tout en nécessitant beaucoup moins de calcul pour le réglage fin et l’inférence.
Remarques finales
L’article démontre que les grands modèles de langage actuels sont considérablement sous-entraînés et fournit une approche fondée sur des principes pour déterminer la taille optimale du modèle et les données d’entraînement pour un budget de calcul donné. Cela a des implications importantes pour le développement efficace de futurs modèles de langage à grande échelle.
Si vous souhaitez en savoir plus sur les détails techniques, n’hésitez pas à lire l’article original.
Limites de l’approche d’entraînement des modèles de langage volumineux optimaux en calcul
Bien que l’approche décrite dans cet article sur les LLM optimaux en calcul présente un cadre théorique convaincant, elle comporte quelques limites potentielles :
Disponibilité de vastes données d’entraînement
- Les principes reposent sur l’accès à des ensembles de données extrêmement volumineux et de haute qualité pour entraîner les modèles.
- L’acquisition et la curation de ces ensembles de données massives peuvent être difficiles, longues et coûteuses.
- Cela peut limiter la capacité de mettre en œuvre pratiquement l’approche, en particulier pour les petites équipes de recherche ou les organisations.
Contraintes matérielles et de calcul
- L’entraînement de très grands modèles avec des quantités proportionnelles de données nécessite d’immenses ressources de calcul.
- L’accès au matériel nécessaire (par exemple, GPU puissants, TPU) et à l’infrastructure électrique/de refroidissement requise peut être un facteur limitant.
- Les coûts de calcul globaux associés à cette approche pourraient être prohibitifs pour beaucoup.
Performances spécifiques au domaine
- L’article se concentre sur les modèles de langage à usage général, mais l’équilibre optimal entre la taille du modèle et les données d’entraînement peut varier pour les modèles ciblant des domaines ou des tâches spécifiques.
- Certaines applications peuvent nécessiter une approche de compromis différente pour obtenir les meilleurs résultats.
Manque de validation empirique
- Bien que les principes énoncés soient logiquement solides, l’article ne fournit pas de preuves empiriques ou d’études de cas démontrant l’efficacité de l’approche optimale en calcul.
- Des recherches supplémentaires et une mise en œuvre réelle seraient nécessaires pour valider les affirmations et quantifier les avantages.
Impacts sociétaux potentiels
- L’augmentation de la taille du modèle et des données d’entraînement pourrait exacerber les préoccupations concernant la sécurité, la confidentialité et l’impact environnemental de l’apprentissage automatique à grande échelle.
- Ces implications sociétales ne sont pas abordées dans l’article et nécessiteraient une réflexion approfondie.
Dans l’ensemble, la mise en œuvre pratique de l’approche LLM optimale en calcul pourrait rencontrer des défis importants liés aux données, au matériel, à la spécificité du domaine et aux considérations d’impact plus larges. Une évaluation empirique et des recherches supplémentaires seraient nécessaires pour évaluer pleinement sa faisabilité et ses avantages.
Une alternative pour obtenir de meilleures performances des LLM
Bien que l’approche optimale en calcul décrite précédemment présente un cadre convaincant pour développer des LLM performants, il existe une solution alternative offrant encore plus de flexibilité et d’efficacité : les API LLM.
Au lieu de dépendre d’un seul LLM fixe, l’API LLM de Novita AI donne accès à une gamme diversifiée de modèles de langage, chacun avec ses propres capacités et domaines de spécialisation. Cela permet aux utilisateurs de sélectionner le modèle le plus approprié pour leurs besoins spécifiques.
De plus, l’API Model de Novita AI permet aux utilisateurs d’ajuster facilement des paramètres clés du modèle, tels que top p (régit le processus de sélection des mots du modèle pour favoriser une génération de texte plus diverse et significative), temperature (module le degré d’aléatoire et d’exploration dans la production de texte du modèle), max tokens (contraint la longueur de la sortie du modèle) et presence penalty (pénalise le modèle pour la répétition excessive de mots, l’incitant à générer un texte plus varié). Ce niveau de personnalisation permet d’affiner les performances du LLM pour correspondre aux exigences uniques de chaque projet ou cas d’utilisation, produisant des résultats plus optimaux et adaptés.
En plus des paramètres ajustables, une autre caractéristique remarquable de l’API Model de Novita AI est son support pour l’entrée de prompt système. Les utilisateurs peuvent fournir des invites ou des modèles personnalisés pour guider le comportement du modèle de langage, permettant des réponses plus dirigées et ciblées. Cela peut être particulièrement précieux pour les applications nécessitant un ton, un style ou des connaissances spécifiques au domaine.
Conclusion
Le travail de Hoffmann et al. représente une étape significative vers l’optimisation de l’entraînement des grands modèles de langage dans le cadre de contraintes de calcul pratiques. Leur idée centrale d’équilibrer la capacité du modèle et l’échelle des données d’entraînement est à la fois théoriquement fondée et empiriquement validée par leur modèle Chinchilla. En évitant les écueils du sous-entraînement sévère, cette approche optimale en calcul débloque de nouveaux niveaux de performance et d’efficacité par rapport aux LLM précédents de pointe comme GPT-3.
Cependant, la mise en œuvre d’un tel entraînement optimal en calcul à grande échelle n’est pas sans défis. La curation des ensembles de données de haute qualité extrêmement volumineux nécessaires pose des difficultés. La disponibilité de ressources de calcul suffisantes, du matériel aux coûts énergétiques, peut également entraver l’adoption — en particulier pour les petites organisations. Une approche alternative offrant plus de flexibilité consiste à utiliser des API de modèles de langage avancées comme l’API Model de Novita AI. Ces API donnent aux utilisateurs accès à une gamme diversifiée de modèles pré-entraînés adaptés à différents cas d’utilisation.
Novita AI, la plateforme tout-en-un pour une créativité sans limites qui vous donne accès à plus de 100 API. De la génération d’images et du traitement du langage à l’amélioration audio et à la manipulation vidéo, paiement à l’utilisation, elle vous libère des tracas de la maintenance GPU tout en construisant vos propres produits. Essayez-la gratuitement.
Lectures recommandées
Que se passera-t-il lorsque les grands modèles de langage encoderont des connaissances cliniques ?
Comment les grands modèles de langage peuvent-ils s’améliorer eux-mêmes ?
