Décoder l'attention par requête groupée : implémentée dans les LLMs populaires

Découvrez les secrets de l’attention par requête groupée dans les LLMs populaires. Explorez notre blog pour des informations sur cette technologie de pointe.

Points clés

• L’attention par requête groupée (GQA) améliore l’efficacité des grands modèles de langage (LLMs) en optimisant la façon dont ils traitent les informations.
• La GQA fait office de compromis entre l’attention multi-têtes (MHA) et l’attention multi-requêtes (MQA), équilibrant qualité et vitesse.
• En groupant les têtes de requête et en utilisant des paires clé-valeur partagées, la GQA réduit les besoins en calcul et en bande passante mémoire.
• Cette technique est particulièrement bénéfique pour les modèles à grande échelle, permettant une mise à l’échelle efficace sans compromettre la précision des LLMs populaires.
• La GQA trouve sa place dans des applications réelles, renforçant les performances dans des tâches comme le traitement du langage naturel.

Introduction

Dans le monde en évolution des modèles de langage, l’efficacité est primordiale. L’attention par requête groupée (GQA) est une méthode puissante pour améliorer la façon dont ces modèles traitent les informations. Elle aide les LLMs comme Llama 3.1 à mieux fonctionner en regroupant des requêtes similaires pendant le calcul. Ce blog explique ce qu’est la GQA, comment elle fonctionne et quels LLMs populaires l’utilisent. Les développeurs peuvent se tenir informés de la GQA et des LLMs associés grâce à ce blog.

Exploration des bases de l’attention par requête groupée

Imaginez que vous ayez une phrase longue et difficile à comprendre. Au lieu d’examiner chaque mot, vous pourriez regrouper des mots similaires. Cela vous aide à saisir l’idée principale plus rapidement. C’est ce que fait la GQA. Il s’agit d’une méthode utilisée dans les modèles de langage pour mieux traiter les informations tout en conservant des détails importants.

Qu’est-ce que l’attention par requête groupée (GQA) ?

L’attention par requête groupée (GQA) est un mécanisme d’attention conçu pour améliorer l’efficacité des LLMs, en particulier pendant l’étape d’inférence coûteuse en calcul. Elle offre un équilibre stratégique entre l’exhaustivité de l’attention multi-têtes (MHA) et la simplicité de l’attention multi-requêtes (MQA).

Comment fonctionne l’attention par requête groupée ?

L’attention par requête groupée optimise le mécanisme d’attention dans les modèles transformeurs en regroupant les requêtes similaires. Elle constitue un équilibre entre l’attention multi-requêtes (MQA) et l’attention multi-têtes (MHA), atteignant la qualité de la MHA avec la vitesse de la MQA. La GQA divise les têtes de requête en groupes, chacun partageant une tête de clé et une tête de valeur, réduisant ainsi la complexité computationnelle et l’utilisation de la mémoire tout en maintenant les performances. Cette approche est particulièrement utile dans les grands modèles de langage pour des tâches comme les moteurs de recherche et le résumé de documents.

Caractéristiques et avantages clés de l’attention par requête groupée

Caractéristiques clés de l’attention par requête groupée

• Interpolation : équilibre entre l’attention multi-requêtes et l’attention multi-têtes.
• Vitesse optimisée : maintient la qualité tout en optimisant la vitesse en utilisant des têtes clé-valeur intermédiaires.
• Compréhension hiérarchique : améliore la compréhension de la structure sémantique en regroupant et en se concentrant sur les termes de requête collectivement.
• Complexité réduite : diminue les demandes de calcul, conduisant à des temps d’inférence plus rapides sans sacrifier la qualité.

Avantages de l’attention par requête groupée

• Efficacité améliorée : la GQA réduit la complexité computationnelle en regroupant les requêtes, ce qui conduit à un traitement plus efficace.
• Performances améliorées : elle améliore les performances du modèle et la qualité sur diverses tâches en capturant des informations plus pertinentes via des requêtes groupées.
• Évolutivité : la GQA s’adapte mieux aux ensembles de données et aux tailles de modèle plus grands, ce qui la rend adaptée aux applications étendues.
• Utilisation mémoire réduite : la GQA groupe les têtes clé-valeur pour résoudre les problèmes de bande passante mémoire dans les LLMs, améliorant ainsi les performances pour les tâches de NLP.
• Parallélisme : permet le parallélisme multi-GPU pour une utilisation efficace des ressources.

Stratégies d’implémentation pour l’attention par requête groupée

L’utilisation de la GQA dans les LLMs nécessite de prendre en compte l’architecture du modèle, les tâches de NLP et la puissance de calcul. Tester différentes stratégies de regroupement est essentiel pour des performances optimales. L’équilibre du nombre de groupes est crucial. PyTorch et TensorFlow sont des outils précieux pour intégrer la GQA dans les LLMs.

Techniques clés pour développer des modèles d’attention par requête groupée

• Mécanisme de requête groupée : utiliser des requêtes groupées pour capturer divers aspects de l’entrée, améliorant ainsi la capacité du modèle à se concentrer sur différentes parties des données.
• Agrégation d’attention : combiner plusieurs têtes d’attention pour agréger des informations de différentes perspectives, améliorant ainsi les performances globales du modèle.
• Structure hiérarchique : implémenter une attention hiérarchique pour gérer différents niveaux de granularité, permettant au modèle de traiter à la fois des informations fines et grossières.
• Intégration d’architecture neuronale : incorporer de manière transparente la GQA dans diverses architectures comme les transformeurs et les RNNs.

Défis de l’implémentation de la GQA dans les grands modèles de langage

• Un défi principal est de maintenir un bon équilibre entre l’efficacité énergétique et un modèle qui fonctionne avec précision. À mesure que le modèle de langage grossit, il nécessite plus de mémoire et de ressources de calcul.
• Choisir le bon nombre de groupes pour les têtes de requête est essentiel. Utiliser moins de groupes peut rendre le modèle plus rapide, mais il risque de ne pas capturer tous les détails de la séquence d’entrée aussi bien qu’avec plus de groupes.
• Le langage évolue constamment, ce qui rend difficile la catégorisation efficace des requêtes. Se fier uniquement aux significations peut ne pas suffire. Des stratégies avancées qui prennent en compte le contexte et la structure des phrases sont souvent nécessaires.

GQA implémentée dans les LLMs populaires

Modèles de la famille Llama 3

Llama 3, développé par Meta AI, intègre des avancées significatives en matière de réglage fin, ce qui le rend très utile pour diverses applications, notamment les chatbots, la création de contenu et le traitement de requêtes complexes.

Llama 3 utilise un tokenizer avec un vocabulaire de 128 000 tokens et a été entraîné sur des séquences de 8 192 tokens. La GQA est utilisée pour améliorer l’efficacité de l’inférence pour tous les modèles. Les modèles de la série Llama 3 incluent Llama 3 8B et Llama 3 70B.

Modèles de la famille Llama 3.1

Llama 3.1 est une collection de LLMs développés par Meta, disponibles en tailles de 8B, 70B et 405B paramètres. Ces modèles sont conçus pour des applications textuelles et excellent dans les cas d’utilisation de dialogue multilingue, surpassant de nombreux modèles open source et de chat fermés existants sur les benchmarks de l’industrie.

Les modèles de la série Llama 3.1 sont nouvellement publiés. La date de sortie de Llama 3.1 405B est le 23 juillet 2024. Toutes les versions du modèle utilisent la GQA pour améliorer l’évolutivité de l’inférence. Vous pouvez tester meta-llama/llama-3.1–405b-instruct sur Novita AI.

En tant que plateforme de service d’API LLM de premier plan, Novita AI propose différentes versions des modèles Llama, notamment llama-3–8b-instruct, llama-3–70b-instruct, llama-3.1–8b-instruct, llama-3.1–70b-instruct, llama-3.1–405b-instruct. Pour plus d’informations, vous pouvez consulter Novita AI Featured Models. De plus, nous avons une nouvelle de dernière minute : le coût pour Llama3.1 405B instruct est réduit à 2,75 $ par million de tokens !

Moyen efficace d’exploiter Llama 3 et Llama 3.1 : API LLM

Comme mentionné précédemment, les modèles des séries Llama 3 et Llama 3.1 sont très performants pour diverses tâches. Pour les utiliser efficacement, vous n’avez pas besoin de tout faire vous-même. Novita AI propose une intégration d’API LLM rentable pour ces modèles. Sans vous soucier des ressources de calcul ou de l’exécution de scripts de déploiement à partir de zéro, vous pouvez profiter d’une API LLM prête à l’emploi en quelques clics.

Guide étape par étape avec l’API LLM de Novita AI

• Étape 1 : Accédez à Novita AI et créez un compte.
• Étape 2 : Gérez la clé API. Allez dans “Key Management” pour gérer vos clés. Vous pouvez également cliquer sur “+ Add new key”.

• Étape 3 : Effectuez un appel API**.** Entrez votre clé API dans le backend pour continuer les tâches suivantes.

Voici un exemple avec un client Python utilisant l’API Chat Completions de Novita AI.

pip install 'openai>=1.0.0'

from openai import OpenAIclient = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    # Récupérez la clé API Novita AI en vous référant à : https://novita.ai/docs/get-started/quickstart.html#_2-manage-api-key.
    api_key="<YOUR Novita AI API Key>",
)model = "Nous-Hermes-2-Mixtral-8x7B-DPO"
stream = True # or False
max_tokens = 512chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": "Act like you are a helpful assistant.",
        },
        {
            "role": "user",
            "content": "Hi there!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
 )if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)

Pour plus d’informations, vous pouvez visiter le API Reference Website.

• Étape 4 : Vous disposez d’un bon avec des crédits limités pour tester nos produits. Pour ajouter plus de crédits, veuillez visiter Billing and Payments et suivre le guide sur Payment Methods.

L’avenir de l’attention par requête groupée sur l’efficacité des modèles

L’ajout de la GQA aux LLMs améliore les performances du modèle en simplifiant le mécanisme d’attention, ce qui entraîne des temps d’entraînement et d’inférence plus rapides. Cette amélioration permet de gérer des modèles et des ensembles de données plus volumineux, conduisant à des solutions NLP plus robustes.

Amélioration de l’efficacité computationnelle et de la précision

La GQA optimise les performances informatiques en simplifiant les calculs d’attention. Elle améliore la vitesse sans compromettre la précision, en identifiant efficacement des motifs complexes dans les données. La GQA réduit l’utilisation de la bande passante mémoire, permettant l’entraînement de modèles de langage plus grands pour de meilleures performances dans diverses tâches NLP.

L’avenir de l’évolutivité des modèles avec la GQA

À mesure que l’apprentissage automatique progresse, la mise à l’échelle efficace des modèles est cruciale. La GQA améliore l’évolutivité des modèles en traitant efficacement de grandes quantités de données et en résolvant les problèmes liés aux méthodes d’attention traditionnelles. Cela permet la création et l’utilisation de modèles de langage plus grands pour des tâches NLP complexes et des ensembles de données étendus. La GQA constitue un élément clé dans le développement de modèles de génération de texte semblables à l’humain rapidement et précisément, révolutionnant divers domaines tels que la NLP, la traduction automatique, l’éducation personnalisée et l’écriture créative assistée par IA.

Conclusion

En conclusion, l’attention par requête groupée (GQA) change la façon dont les grands modèles de langage traitent les questions complexes. Cela les rend plus performants et plus faciles à faire évoluer. En utilisant la GQA, les entreprises peuvent mieux réussir les tâches liées à la compréhension du langage et obtenir des résultats plus précis dans différents domaines. Bien que l’utilisation de la GQA présente certains défis, elle offre de grandes promesses pour améliorer les structures des LLMs. Son approche spéciale la distingue des autres types d’attention. Cela en fait un outil important pour améliorer les performances. Alors que la GQA continue de se développer, il existe un fort potentiel pour de nouvelles améliorations des compétences en traitement du langage.

FAQ

Quelle est la différence entre l’attention multi-têtes et l’attention par requête groupée ?

La MHA utilise plusieurs têtes d’attention pour capturer diverses relations au sein de la séquence d’entrée. La GQA regroupe les requêtes en clusters pour optimiser le calcul de l’attention dans les grands modèles ou ensembles de données.

Comment les grands modèles de langage bénéficient-ils de la GQA ?

La GQA aide les LLMs à mieux comprendre le contexte et les nuances des questions. Elle utilise moins de groupes pour accélérer le traitement. Cela se fait sans perdre beaucoup de précision.

Llama 3.1 est-il open source ?

Il est sous licence du Llama 3.1 Community License Agreement, qui fournit une licence limitée pour utiliser, reproduire, distribuer et modifier les matériaux Llama. Pour plus de 700 millions d’utilisateurs actifs mensuels au cours du mois civil précédent, vous devez demander une licence supplémentaire.

Quels sont les développements futurs potentiels de l’attention par requête groupée ?

La GQA créera de meilleures façons de regrouper les informations. Cela pourrait utiliser l’apprentissage automatique pour améliorer la façon dont les requêtes sont regroupées. Elle examinera le contexte et les relations entre les concepts.

Novita AI est la plateforme cloud tout-en-un qui alimente vos ambitions en IA. API intégrées, serverless, instances GPU - les outils rentables dont vous avez besoin. Éliminez l’infrastructure, commencez gratuitement et réalisez votre vision de l’IA.

Lectures recommandées

1.Llama 3 vs ChatGPT 4 : Un guide de comparaison

2.Explorez le coût de Llama 3 : des solutions abordables pour vos besoins

3.Llama Weights : Un guide ultime 2024