Dieser Artikel gibt einen Überblick über die Konfigurationseinstellungen von Large Language Models (LLMs) und geht auf die Vor- und Nachteile großer Kontextfenster ein. Er bietet außerdem praktische Beispiele, die zeigen, wie sich die Anpassung dieser Einstellungen auf die LLM-Ausgabe bei verschiedenen Aufgaben auswirkt.
Einführung
Large Language Models basieren auf Wahrscheinlichkeiten, um das wahrscheinlichste nächste Token oder Wort basierend auf ihren Trainingsdaten, Prompts und Einstellungen zu bestimmen. Frühere Diskussionen haben hervorgehoben, wie Prompting-Techniken menschenähnliches Denken in LLMs verankern können, während Techniken wie Retrieval Augmented Generation ihre Fähigkeiten erweitern, indem sie Zugang zu externen Wissensquellen gewähren.
Dennoch kann die Anpassung der LLM-Einstellungen oder -Parameter die endgültige Ausgabe erheblich beeinflussen, unabhängig vom bereitgestellten Kontext und den Prompts. Die Beherrschung dieser Einstellungen ist entscheidend, um Large Language Models effektiv nutzen und in gewünschte Verhaltensweisen lenken zu können. In diesem Artikel untersuchen wir grundlegende LLM-Parameter wie Temperatur, Top P, Max Tokens und Kontextfenster und erklären, wie sie die Modellausgabe beeinflussen.
Was ist LLM-Temperatur?
Einfach ausgedrückt, ist die Temperatur ein Parameter, der von 0 bis 1 reicht und den Grad der Zufälligkeit in den Antworten eines Large Language Model (LLM) bestimmt. Höhere Temperaturen führen zu vielfältigeren und kreativeren Ausgaben, während niedrigere Temperaturen konservativere und vorhersehbarere Antworten ergeben.
Wenn die Temperatur auf Null gesetzt ist, wird ein LLM bei gleichem Prompt konsistent dieselbe Ausgabe produzieren. Eine Erhöhung der Temperatur steigert die Kreativität des Modells und bietet eine breitere Palette von Ausgaben. Allerdings können übermäßig hohe Temperaturen zu Ausgaben führen, denen es an Kohärenz oder Bedeutung fehlt.
Die Standard-Temperatureinstellungen variieren zwischen verschiedenen LLMs, abhängig von Faktoren wie dem Modelltyp und ob der Zugriff über eine API oder eine Weboberfläche erfolgt. Beispielsweise wird in Diskussionen über ChatGPT-3.5 und 4 häufig von Standard-Temperatureinstellungen um 0,7 bis 0,8 gesprochen, obwohl genaue Werte oft nicht bekannt gegeben werden.
Temperatureinstellungen
Der Temperaturparameter ist ein numerischer Wert, der typischerweise zwischen 0 und 1 liegt, obwohl er diesen Bereich manchmal überschreiten kann, und er beeinflusst das Risikoverhalten oder die Konservativität des Modells bei der Wortauswahl. Er passt die Wahrscheinlichkeitsverteilung des nächsten Wortes an.
Hier eine Aufschlüsselung der verschiedenen Temperaturparameter für Large Language Models:
Niedrige Temperatur (<1.0) — Bei einem Wert unter 1 ist die Ausgabe des Modells tendenziell deterministischer und wiederholender. Niedrigere Temperaturen priorisieren die Auswahl des wahrscheinlichsten nächsten Wortes, was die Ausgabevariabilität reduziert. Dies kann vorteilhaft sein, um vorhersehbare und konservative Antworten zu erhalten, kann aber auch zu weniger kreativem oder diversem Text führen, was dem Modell einen roboterhafteren Ton verleiht.
Hohe Temperatur (>1.0) — Wird die Temperatur über 1 gesetzt, erhöht sich die Zufälligkeit im generierten Text. Das Modell neigt eher dazu, weniger wahrscheinliche Wörter als nächstes Wort in der Sequenz zu wählen, was zu abwechslungsreicheren und manchmal kreativeren Ausgaben führt. Diese erhöhte Zufälligkeit kann jedoch zu Fehlern oder sinnlosen Antworten führen, da das Modell weniger an die Wahrscheinlichkeitsverteilung seiner Trainingsdaten gebunden ist.
Temperatur von 1.0 — Dies ist oft die Standardeinstellung, die darauf abzielt, ein Gleichgewicht zwischen Zufälligkeit und Determinismus zu schaffen. Das Modell generiert Text, der weder übermäßig vorhersehbar noch zu zufällig ist, und greift dabei auf die während des Trainings erlernte Wahrscheinlichkeitsverteilung zurück.
Anwendungsfälle für die LLM-Temperaturmodellierung
Die Feinabstimmung des Temperaturparameters bei der Modellierung erfordert das richtige Gleichgewicht zwischen Zufälligkeit und Determinismus, ein entscheidender Aspekt bei Anwendungen, bei denen die Qualität des generierten Texts die Benutzererfahrung oder Entscheidungsprozesse stark beeinflusst.
In praktischen Szenarien hängt die Wahl der Temperatureinstellung vom gewünschten Ergebnis ab. Aufgaben, die Kreativität oder vielfältige Antworten erfordern, können von höheren Temperaturen profitieren, während solche, die Genauigkeit oder sachliche Richtigkeit erfordern, typischerweise niedrigere Temperaturen bevorzugen.
Hier sind einige häufige Anwendungsfälle und empfohlene Temperatureinstellungen für LLM-Modelle:
Kreatives Schreiben — Der Einsatz höherer Temperaturen kann die Kreativität anregen und eine Vielzahl von Ausgaben erzeugen, was bei der Überwindung von Schreibblockaden oder der Generierung innovativer Content-Ideen hilfreich sein kann.
Technische Dokumentation — Niedrigere Temperaturen werden bevorzugt, um die Präzision und Zuverlässigkeit des Inhalts sicherzustellen, was bei technischen Dokumentationen, bei denen Genauigkeit und Konsistenz von größter Bedeutung sind, entscheidend ist.
Kundeninteraktion — Die Anpassung der Temperatur ermöglicht es, Antworten in Chatbots oder virtuellen Assistenten auf die Marke und den Ton des Unternehmens sowie auf die Vorlieben der Zielgruppe abzustimmen.
Was ist Top P
Top P, auch bekannt als Nucleus Sampling, ist ein weiterer Parameter, der die Zufälligkeit der LLM-Ausgabe beeinflusst. Dieser Parameter bestimmt den Wahrscheinlichkeitsschwellenwert für die Aufnahme von Token in einen Kandidatensatz, den das LLM zur Generierung der Ausgabe verwendet. Niedrigere Werte dieses Parameters führen zu präziseren und faktenbasierten Antworten des LLM, während höhere Werte die Zufälligkeit und Vielfalt der generierten Ausgabe erhöhen.
Wenn beispielsweise der Top-P-Parameter auf 0,1 gesetzt wird, liefert das LLM eine deterministische und fokussierte Ausgabe. Andererseits ermöglicht die Erhöhung von Top P auf 0,8 weniger eingeschränkte und kreativere Antworten.
Was sind Max Tokens
Während Temperatur und Top P die Zufälligkeit der LLM-Antworten regulieren, legen sie keine Beschränkungen für die Größe der Eingabe oder der vom Modell erzeugten Ausgabe fest. Im Gegensatz dazu wirken sich zwei andere Parameter, das Kontextfenster und die maximalen Tokens (Max Tokens), direkt auf die LLM-Leistung und die Datenverarbeitungsfähigkeiten aus.
Das Kontextfenster, gemessen in Tokens (die ganze Wörter, Unterwörter oder Zeichen sein können), bestimmt die Anzahl der Wörter, die ein LLM auf einmal verarbeiten kann. Der Parameter Max Tokens hingegen legt die Obergrenze für die Gesamtanzahl der Tokens fest, die sowohl die dem LLM als Prompt bereitgestellte Eingabe als auch die vom LLM als Antwort auf diesen Prompt generierten Ausgabetokens umfasst.
Verständnis des Kontextfensters
Im Allgemeinen bestimmt die Größe des Kontextfensters in Large Language Models (LLMs), wie viele Informationen das Modell behalten und bei der Generierung von Ausgaben nutzen kann. Ein größeres Kontextfenster ermöglicht es dem LLM, mehr Kontext zu behalten, was zu kohärenteren und genaueren Antworten führt. Wenn die Eingabe jedoch das Kontextfenster überschreitet, beginnt das Modell, frühere Informationen zu „vergessen“, was potenziell zu weniger relevanten und qualitativ minderwertigeren Ausgaben führt.
Zusätzlich schränkt die Größe des Kontextfensters bestimmte Prompt-Engineering-Techniken ein. Methoden wie Tree-of-Thoughts oder Retrieval Augmented Generation (RAG) benötigen große Kontextfenster, um effektiv zu sein, da sie darauf angewiesen sind, das Modell mit ausreichend Informationen für qualitativ hochwertige Antworten zu versorgen.
Im Zuge der Weiterentwicklung von LLMs erweitern sich auch ihre Kontextfenster, sodass sie mehr Tokens auf einmal verarbeiten können. Während GPT-4 beispielsweise eine Kontextgrenze von 8.192 Tokens hat, unterstützen neuere Modelle wie GPT-4 Turbo ein Kontextfenster von bis zu 128K Tokens. Ebenso hat Anthropic die Kontextgrenze im Claude-Tool von 9.000 Tokens in der Claude 2.1-Version auf 200K Tokens erhöht.
Wann führt ein großes Kontextfenster nicht zu besseren Ergebnissen?
Während ein größeres Kontextfenster es LLMs ermöglicht, längere Eingaben zu verarbeiten, was potenziell relevantere Antworten liefert, ist die Erweiterung der Kontextgrenzen nicht universell vorteilhaft. Es gibt mehrere Nachteile zu bedenken.
Erstens benötigen größere Eingabedatensätze mehr Zeit, damit LLMs Antworten generieren können. Die erhöhte Rechenkomplexität bei der Verarbeitung größerer Kontextfenster verschärft dieses Problem zusätzlich.
Zweitens steigen die Rechenkosten, die mit größeren Kontextfenstern verbunden sind, proportional an.
Darüber hinaus zeigt eine Studie von Liu et al. (2023) eine weitere Herausforderung auf: Large Language Models haben oft Schwierigkeiten, Informationen in langen Eingabekontexten effektiv abzurufen. Ihre Studie ergab, dass LLMs die beste Leistung erzielen, wenn relevante Informationen entweder am Anfang oder am Ende der Eingabe positioniert sind. Umgekehrt führt die Nutzung von Informationen aus der Mitte eines langen Kontextes zu einer geringeren Modellleistung.
Andere LLM-Einstellungen
Mehrere andere Einstellungen können die Ausgabe von Sprachmodellen beeinflussen, darunter Stoppsequenzen, Frequenzstrafe und Präsenzstrafe.
Stoppsequenzen
Stoppsequenzen legen fest, wann das Modell die Ausgabegenerierung stoppen soll, und ermöglichen so die Kontrolle über Inhaltlänge und -struktur. Wenn die KI beispielsweise aufgefordert wird, eine E-Mail zu verfassen, stellt die Festlegung von „Mit freundlichen Grüßen“ oder „Hochachtungsvoll“ als Stoppsequenz sicher, dass das Modell vor der Schlussformel stoppt, was zu einer prägnanten und fokussierten E-Mail führt. Stoppsequenzen sind nützlich, um Ausgaben zu generieren, die einem strukturierten Format folgen sollen, wie z. B. E-Mails, nummerierte Listen oder Dialoge.
Frequenzstrafe
Die Frequenzstrafe ist eine Einstellung, die Wiederholungen im generierten Text unterbindet, indem Token basierend auf ihrer Häufigkeit bestraft werden. Token, die im Text häufiger vorkommen, werden von der KI weniger wahrscheinlich erneut verwendet.
Präsenzstrafe
Die Präsenzstrafe funktioniert ähnlich wie die Frequenzstrafe, wendet jedoch eine pauschale Strafe auf Token basierend darauf an, ob sie im Text vorgekommen sind oder nicht, anstatt sie proportional zu bestrafen.
Quelle: novita.ai
Import Character (optional)
Einige LLMs haben ihre speziellen Einstellungen, z. B. Import Character. Durch das Importieren von Charakterkarten können Sie mit Ihren Lieblingscharakteren chatten, egal wer sie sind.
novita.ai LLM mit Import Character
Wie passt man LLM-Einstellungen an?
Wie zuvor gezeigt, kann die Anpassung von Parametern wie Temperatur, Top P und Max Tokens dazu beitragen, LLMs feinabzustimmen, um relevantere und genauere Ergebnisse zu erzielen. Das Senken der Temperatur oder von Top P auf Werte wie 0,1 oder 0,2 reduziert die Zufälligkeit und liefert fokussiertere Antworten, die für Aufgaben wie Codegenerierung oder Datenanalyse-Scripting geeignet sind. Umgekehrt fördert die Erhöhung der Temperatur oder von Top P auf etwa 0,7 oder 0,8 kreativere und vielfältigere Ausgaben, ideal für kreatives Schreiben oder Geschichtenerzählen. Es wird generell empfohlen, entweder die Temperatur oder den Top-P-Parameter zu ändern, aber nicht beide gleichzeitig.
Gleichzeitig ermöglicht die Änderung des Max-Tokens-Parameters die Anpassung der Länge der LLM-Ausgabe. Diese Flexibilität ist vorteilhaft, wenn LLMs maßgeschneidert werden sollen, um entweder kurze Antworten für Chatbots oder längere Inhalte für Artikel zu generieren. Darüber hinaus kann die Anpassung des Max-Tokens-Parameters in Szenarien wie der Codegenerierung für die Softwareentwicklung oder der Zusammenfassung längerer Dokumente nützlich sein.
Fazit
Zusammenfassend ist die Beherrschung von Einstellungen wie Temperatur, Top P, maximale Länge und anderen entscheidend bei der Verwendung von Sprachmodellen. Diese Parameter ermöglichen eine präzise Steuerung der Modellausgabe, um sie an bestimmte Aufgaben oder Anwendungen anzupassen. Sie regeln Faktoren wie Zufälligkeit, Länge und Wiederholungshäufigkeit der Antworten, die alle dazu beitragen, die Interaktionen mit KI zu verbessern.
novita.ai, die One-Stop-Plattform für grenzenlose Kreativität, die Ihnen Zugang zu 100+ APIs bietet. Von Bildgenerierung und Sprachverarbeitung bis hin zu Audioverbesserung und Videobearbeitung, günstig Pay-as-you-go, befreit sie Sie von GPU-Wartungsproblemen beim Aufbau eigener Produkte. Probieren Sie es kostenlos aus.
Empfohlene Lektüre
Novita AI LLM Inferenz-Engine: Der größte Durchsatz und die günstigste Inferenz verfügbar
