Cet article donne un aperçu des paramètres de configuration des grands modèles de langage (LLM), en explorant les avantages et les inconvénients des grandes fenêtres de contexte. Il offre également des exemples pratiques illustrant comment le réglage de ces paramètres affecte la sortie du LLM dans diverses tâches.
Introduction
Les grands modèles de langage se basent sur des probabilités pour déterminer le token ou le mot suivant le plus probable en fonction de leurs données d’entraînement, des prompts et des paramètres. Des discussions précédentes ont montré comment les techniques de prompting peuvent insuffler un raisonnement de type humain dans les LLM, tandis que des techniques comme la génération augmentée par récupération (RAG) améliorent leurs capacités en leur donnant accès à des sources de connaissances externes.
Néanmoins, modifier les paramètres ou les réglages des LLM peut avoir un impact significatif sur la sortie finale, quel que soit le contexte et les prompts fournis. Maîtriser ces réglages est crucial pour exploiter efficacement les grands modèles de langage et les guider vers les comportements souhaités. Dans cet article, nous explorons des paramètres fondamentaux des LLM tels que la température, le top P, les max tokens et la fenêtre de contexte, en expliquant comment ils influencent la sortie du modèle.
Qu’est-ce que la température d’un LLM ?
En termes simples, la température est un paramètre qui va de 0 à 1 et détermine le niveau d’aléatoire dans les réponses générées par un grand modèle de langage (LLM). Des températures plus élevées produisent des sorties plus diverses et créatives, tandis que des températures plus basses donnent des réponses plus conservatrices et prévisibles.
Lorsque la température est réglée à zéro, un LLM produit systématiquement la même sortie pour un même prompt. Augmenter la température accroît la créativité du modèle, offrant une gamme de sorties plus large. Cependant, des températures trop élevées peuvent conduire à des sorties manquant de cohérence ou de sens.
Les réglages de température par défaut varient selon les LLM, en fonction de facteurs tels que le type de modèle et son accès par API ou interface web. Par exemple, les discussions sur ChatGPT-3.5 et 4 mentionnent couramment des températures par défaut autour de 0,7 à 0,8, bien que les valeurs précises ne soient souvent pas divulguées.
Réglages de la température
Le paramètre de température est une valeur numérique généralement comprise entre 0 et 1, bien qu’elle puisse parfois dépasser cette plage, qui influence le degré de prise de risque ou de conservatisme dans les choix de mots du modèle. Il ajuste la distribution de probabilité du mot suivant.
Voici une explication des différents paramètres de température pour les grands modèles de langage :
Basse température (< 1,0) — Lorsqu’elle est réglée en dessous de 1, la sortie du modèle tend à être plus déterministe et répétitive. Les températures plus basses privilégient la sélection du mot suivant le plus probable, réduisant la variabilité de la sortie. Cela peut être avantageux pour obtenir des réponses prévisibles et conservatrices, mais peut aussi produire un texte moins créatif ou diversifié, donnant au modèle un ton plus robotique.
Haute température (> 1,0) — Régler la température au-dessus de 1 augmente l’aléatoire dans le texte généré. Le modèle est plus enclin à choisir des mots moins probables comme mot suivant dans la séquence, ce qui donne des sorties plus variées et parfois plus créatives. Cependant, cet aléatoire accru peut entraîner des erreurs ou des réponses absurdes, car le modèle est moins lié à la distribution de probabilité de ses données d’entraînement.
Température de 1,0 — C’est souvent le réglage par défaut, visant à trouver un équilibre entre aléatoire et déterminisme. Le modèle génère un texte ni trop prévisible ni trop aléatoire, en s’appuyant sur la distribution de probabilité apprise lors de son entraînement.
Cas d’utilisation de la modélisation de la température des LLM
L’optimisation du paramètre de température dans la modélisation consiste à trouver le bon équilibre entre aléatoire et déterminisme, un aspect crucial dans les applications où la qualité du texte généré impacte profondément l’expérience utilisateur ou les processus décisionnels.
Dans les scénarios pratiques, le choix du réglage de température dépend du résultat souhaité. Les tâches exigeant de la créativité ou des réponses diverses peuvent bénéficier de températures plus élevées, tandis que celles nécessitant de la précision ou une exactitude factuelle privilégient généralement des températures plus basses.
Voici quelques cas d’utilisation courants et les réglages de température recommandés pour les modèles LLM :
Écriture créative — L’emploi de températures plus élevées peut stimuler la créativité et produire une variété de sorties, ce qui est utile pour surmonter le syndrome de la page blanche ou générer des idées de contenu innovantes.
Documentation technique — Les températures plus basses sont préférées pour garantir la précision et la fiabilité du contenu, essentielles dans la documentation technique où l’exactitude et la cohérence sont primordiales.
Interaction client — Ajuster la température permet d’adapter les réponses dans les chatbots ou assistants virtuels pour qu’elles correspondent à la marque et au ton de l’organisation, ainsi qu’aux préférences du public cible.
Qu’est-ce que le top P ?
Le top P, également connu sous le nom d’échantillonnage nucléus, est un autre paramètre qui influence l’aléatoire de la sortie du LLM. Ce paramètre détermine le seuil de probabilité pour l’inclusion des tokens dans un ensemble candidat utilisé par le LLM pour générer la sortie. Des valeurs plus basses de ce paramètre donnent des réponses plus précises et factuelles de la part du LLM, tandis que des valeurs plus élevées augmentent l’aléatoire et la diversité de la sortie générée.
Par exemple, régler le paramètre top P à 0,1 conduit à une sortie déterministe et ciblée du LLM. En revanche, augmenter le top P à 0,8 permet des réponses moins contraintes et plus créatives.
Qu’est-ce que les max tokens ?
Alors que la température et le top P régulent l’aléatoire des réponses du LLM, ils n’établissent aucune contrainte sur la taille de l’entrée acceptée ou de la sortie générée par le modèle. En revanche, deux autres paramètres, la fenêtre de contexte et les max tokens, affectent directement les performances du LLM et ses capacités de traitement des données.
La fenêtre de contexte, mesurée en tokens (qui peuvent être des mots entiers, des sous-mots ou des caractères), détermine le nombre de mots qu’un LLM peut traiter à la fois. De son côté, le paramètre max tokens fixe la limite supérieure du nombre total de tokens, incluant à la fois l’entrée fournie au LLM sous forme de prompt et les tokens de sortie générés par le LLM en réponse à ce prompt.
Comprendre la fenêtre de contexte
En général, la taille de la fenêtre de contexte dans les grands modèles de langage (LLM) détermine la quantité d’informations que le modèle peut conserver et utiliser lors de la génération de la sortie. Une fenêtre de contexte plus grande permet au LLM de mémoriser plus de contexte, conduisant à des réponses plus cohérentes et précises. Cependant, si l’entrée dépasse la fenêtre de contexte, le modèle commence à « oublier » les informations antérieures, ce qui peut donner des sorties moins pertinentes et de moindre qualité.
De plus, la taille de la fenêtre de contexte impose des contraintes sur les techniques d’ingénierie de prompt. Des méthodes comme Tree-of-Thoughts ou la génération augmentée par récupération (RAG) nécessitent de grandes fenêtres de contexte pour être efficaces, car elles reposent sur l’alimentation du modèle avec suffisamment d’informations pour générer des réponses de haute qualité.
À mesure que les LLM évoluent, leurs fenêtres de contexte s’étendent également, leur permettant de traiter plus de tokens à la fois. Par exemple, alors que GPT-4 a une limite de contexte de 8 192 tokens, des modèles plus récents comme GPT-4 Turbo supportent une fenêtre de contexte allant jusqu’à 128 000 tokens. De même, Anthropic a augmenté la limite de contexte dans l’outil Claude de 9 000 tokens à 200 000 tokens dans la version Claude 2.1.
Quand une grande fenêtre de contexte n’entraîne-t-elle pas une meilleure sortie ?
Bien qu’une fenêtre de contexte plus grande permette aux LLM de traiter des entrées plus longues, conduisant à des réponses potentiellement plus pertinentes, l’extension des limites de contexte n’est pas universellement avantageuse. Plusieurs inconvénients sont à considérer.
Premièrement, des ensembles de données d’entrée plus grands nécessitent plus de temps aux LLM pour générer des réponses. La complexité computationnelle accrue liée au traitement de fenêtres de contexte plus grandes aggrave encore ce problème.
Deuxièmement, les coûts computationnels associés à des fenêtres de contexte plus grandes augmentent proportionnellement.
De plus, une recherche de Liu et al. (2023) met en évidence un autre défi : les grands modèles de langage ont souvent du mal à accéder efficacement aux informations dans de longs contextes d’entrée. Leur étude a révélé que les LLM atteignent des performances optimales lorsque les informations pertinentes se situent soit au début, soit à la fin de l’entrée. En revanche, l’utilisation d’informations provenant du milieu d’un long contexte entraîne une baisse des performances du modèle.
Autres paramètres des LLM
Plusieurs autres paramètres peuvent influencer la sortie des modèles de langage, notamment les séquences d’arrêt, les pénalités de fréquence et les pénalités de présence.
Séquences d’arrêt (stop sequences)
Les séquences d’arrêt indiquent au moment où le modèle doit cesser la génération de la sortie, permettant de contrôler la longueur et la structure du contenu. Par exemple, lorsque l’on demande à l’IA de rédiger un courriel, définir « Cordialement » ou « Sincèrement » comme séquence d’arrêt garantit que le modèle s’arrête avant la formule de politesse finale, produisant ainsi un courriel concis et ciblé. Les séquences d’arrêt sont utiles pour générer des sorties devant suivre un format structuré, comme des courriels, des listes numérotées ou des dialogues.
Pénalité de fréquence (frequency penalty)
La pénalité de fréquence est un paramètre qui décourage la répétition dans le texte généré en pénalisant les tokens en fonction de leur fréquence d’apparition. Les tokens qui apparaissent le plus souvent dans le texte ont moins de chances d’être réutilisés par l’IA.
Pénalité de présence (presence penalty)
La pénalité de présence fonctionne de manière similaire à la pénalité de fréquence, mais applique une pénalité forfaitaire aux tokens selon qu’ils sont apparus ou non dans le texte, plutôt que de les pénaliser proportionnellement.
Source : novita.ai
Importer un personnage (optionnel)
Certains LLM ont leurs propres paramètres spéciaux, par exemple, importer un personnage. En important des fiches de personnage, vous pouvez discuter avec vos personnages préférés, quels qu’ils soient.
novita.ai LLM avec la fonction Importer un personnage
Comment ajuster les paramètres d’un LLM ?
Comme démontré précédemment, ajuster des paramètres comme la température, le top P et les max tokens peut aider à affiner les LLM pour produire des résultats plus pertinents et précis. Baisser la température ou le top P à des valeurs comme 0,1 ou 0,2 réduit l’aléatoire, donnant des réponses plus ciblées, adaptées à des tâches telles que la génération de code ou l’écriture de scripts d’analyse de données. À l’inverse, augmenter les paramètres de température ou de top P à environ 0,7 ou 0,8 encourage une sortie plus créative et diversifiée, idéale pour l’écriture créative ou la narration. Il est généralement conseillé de modifier soit le paramètre de température, soit le paramètre top P, mais pas les deux simultanément.
Par ailleurs, modifier le paramètre max tokens permet de personnaliser la longueur de la sortie du LLM. Cette flexibilité est utile pour adapter les LLM à la génération de réponses courtes pour les chatbots ou de contenu plus long pour les articles. De plus, ajuster le paramètre max tokens peut être utile dans des scénarios comme la génération de code pour le développement logiciel ou le résumé de documents longs.
Conclusion
En résumé, maîtriser des paramètres tels que la température, le top P, la longueur maximale et d’autres est essentiel lors de l’utilisation de modèles de langage. Ces paramètres permettent un contrôle précis de la sortie du modèle, en l’adaptant à des tâches ou applications particulières. Ils régissent des facteurs tels que l’aléatoire des réponses, leur longueur et la fréquence de répétition, autant d’éléments qui contribuent à améliorer les interactions avec l’IA.
novita.ai, la plateforme tout-en-un pour une créativité illimitée qui vous donne accès à plus de 100 API. De la génération d’images au traitement du langage, en passant par l’amélioration audio et la manipulation vidéo, avec un paiement à l’utilisation économique, elle vous libère des contraintes de maintenance des GPU tout en construisant vos propres produits. Essayez-le gratuitement.
Lectures recommandées
Moteur d’inférence LLM Novita AI : le plus grand débit et l’inférence la moins chère disponible
