Das richtige LLM für Ihr Unternehmen auswählen

Einleitung

Bei der Vielzahl verfügbarer Large Language Models (LLMs) kann es überwältigend sein, eines zu identifizieren, das Ihren spezifischen Anforderungen entspricht. Die Landschaft entwickelt sich ständig weiter, mit neuen Modellen und verfeinerten Versionen, die fast wöchentlich erscheinen. Folglich würde jeder Versuch, LLMs und ihre Eigenschaften zu katalogisieren, schnell veralten.

Anstatt jedes Top-LLM aufzulisten und seine Stärken und Schwächen darzulegen, zielt dieser Artikel darauf ab, eine Reihe von Kriterien zur Bewertung von Modellen bereitzustellen. Durch die Bereitstellung eines Analyseframeworks können Leser neu veröffentlichte Modelle anhand der Kernmerkmale bewerten und effektiv vergleichen. Die wichtigsten zu berücksichtigenden Merkmale bei der Bewertung eines LLM sind:

• Größe
• Architekturtyp
• Benchmark-Leistung
• Trainingsprozesse und Verzerrungen
• Lizenzierung/Verfügbarkeit

Welche Größe hat ein LLM?

Ihre erste Überlegung bei der Auswahl eines LLM ist Ihr Budget. Der Betrieb von LLMs kann erhebliche Kosten verursachen, was die Bedeutung der Wahl eines Modells unterstreicht, das innerhalb der Budgetgrenzen bleibt. Ein indikativer Faktor für die Kosten ist die Anzahl der Parameter in einem LLM.

Was ist die Anzahl der Parameter eines Modells?

Die Anzahl der Parameter entspricht der Anzahl der Gewichte und Bias-Werte, die das Modell während des Trainings anpasst und zur Berechnung seiner Ausgabe verwendet. Warum ist diese Anzahl von Bedeutung? Sie bietet eine grobe Schätzung des Leistungsaufwands und der Inferenzgeschwindigkeit eines Modells. Allgemein gesagt sind diese Faktoren direkt miteinander verbunden: Mit zunehmender Anzahl der Parameter steigen auch die Kosten für die Erzeugung einer Ausgabe.

Was ist die Inferenzgeschwindigkeit eines Modells?

Die Inferenzgeschwindigkeit eines Sprachmodells bezieht sich auf die Zeit, die benötigt wird, um eine Eingabe zu verarbeiten – im Wesentlichen misst sie die Ausgabegeschwindigkeit. Es ist wichtig zu beachten, dass die Inferenzgeschwindigkeit und die Gesamtleistung eines Modells komplex und vielschichtig sind und nicht allein durch die Anzahl der Parameter bestimmt werden. Für den Kontext dieses Artikels liefert die Parameteranzahl jedoch eine grobe Schätzung der potenziellen Leistung eines Modells. Glücklicherweise gibt es mehrere etablierte Methoden zur Verkürzung der Inferenzzeit von Machine-Learning-Modellen.

Anzahl der Parameter für jedes LLM.

Ein mittelgroßes Modell hat typischerweise weniger als 10 Milliarden Parameter, während günstigere Modelle weniger als 1 Milliarde haben können. Modelle mit weniger als 1 Milliarde Parametern sind jedoch oft älter oder nicht speziell für Textgenerierungsaufgaben ausgelegt. Am anderen Ende des Spektrums haben teure Modelle über 100 Milliarden Parameter, wie z. B. GPT-4 mit erstaunlichen 1,76 Billionen Parametern. Viele Modellserien, darunter LLaMa 2, Mistral, Falcon und GPT, bieten sowohl kleinere Versionen mit weniger als 10 Milliarden Parametern als auch größere Versionen mit 10 bis 100 Milliarden Parametern.

Welche verschiedenen Arten von LLMs gibt es?

Allgemein lassen sich transformerbasierte LLMs basierend auf ihrer Architektur in drei Kategorien einteilen: Encoder-only, Encoder-Decoder und Decoder-only. Diese Kategorisierung hilft, den beabsichtigten Zweck des Modells und seine Leistung bei Textgenerierungsaufgaben zu verstehen.

Was ist ein Encoder-only-Modell?

Encoder-only-Modelle verwenden ausschließlich eine Encoder-Komponente, die für die Kodierung und Kategorisierung des Eingabetexts zuständig ist. Diese Modelle sind nützlich, um Text bestimmten Kategorien zuzuordnen. BERT, das vorherrschende Encoder-only-Modell, wurde als Masked Language Model (MLM) und für Next Sentence Prediction (NSP) trainiert. Beide Trainingsziele beinhalten das Erkennen wesentlicher Elemente in einem Satz.

Was ist ein Encoder-Decoder-Modell?

Encoder-Decoder-Modelle kodieren zunächst den Eingabetext, ähnlich wie Encoder-only-Modelle, und generieren oder dekodieren dann eine Antwort basierend auf den kodierten Eingaben. Ein Beispiel für eine Encoder-Decoder-Modellarchitektur ist BART. Diese Modelle sind vielseitig und eignen sich sowohl für Textgenerierungs- als auch für Textverständnisaufgaben, was sie besonders wertvoll für Übersetzungszwecke macht. BART zeichnet sich beispielsweise durch die Zusammenfassung langer Texte wie Artikel in kohärente Ausgaben aus. BART-Large-CNN ist beispielsweise eine feinabgestimmte Variante, die auf die Erstellung von Textzusammenfassungen spezialisiert ist und auf einer Vielzahl von Nachrichtenartikeln trainiert wurde. Insgesamt dienen Encoder-Decoder-Modelle einem doppelten Zweck: Sie decken sowohl Textverständnis- als auch Textgenerierungsaufgaben ab.

Was ist ein Decoder-only-Modell?

Decoder-only-Modelle sind auf die Generierung des nächsten Wortes oder Tokens basierend auf einem gegebenen Prompt spezialisiert und konzentrieren sich ausschließlich auf Textgenerierungsaufgaben. Sie bieten eine einfache Trainingsmöglichkeit und sind besonders effizient für reine Textgenerierungszwecke. Modellserien wie GPT, Mistral und LLaMa fallen in die Kategorie der Decoder-only-Modelle. Wenn Ihre Hauptanforderung die Textgenerierung ist, sind Decoder-only-Modelle die bevorzugte Wahl.

Allerdings verwendet Mistrals 8x7B (auch bekannt als Mixtral) eine einzigartige Architektur namens „Mixtral of Experts“, die sich von herkömmlichen Decoder-only-Modellen unterscheidet. Ebenso gibt es Hinweise darauf, dass GPT-4 eine ähnliche Technik verwendet. Daher passen diese Modelle möglicherweise nicht sauber in die Kategorie der Decoder-only-Modelle. Darüber hinaus entziehen sich aufkommende Architekturtechniken wie Retrieval Augmented Generation (RAG) einer Klassifizierung innerhalb dieser etablierten Kategorien.

Weitere Informationen zur RAG-Technologie finden Sie in unserem Blog: Was ist RAG: Eine umfassende Einführung in Retrieval Augmented Generation

Wie misst man die Leistungsqualität eines LLM?

Verschiedene Metriken werden verwendet, um die Fähigkeit eines Sprachmodells zu bewerten, diverse Prompts zu verstehen, zu interpretieren und genaue Antworten zu geben. Diese Bewertungsmethoden unterscheiden sich je nach beabsichtigter Verwendung des Sprachmodells. Beispielsweise wird BERT, ein Encoder-only-Modell, das hauptsächlich für Aufgaben wie Klassifikation entwickelt wurde, nicht mit denselben Kriterien bewertet wie GPT-3, ein Decoder-only-Modell, das für die Textgenerierung maßgeschneidert ist. In den folgenden Abschnitten werden wir einige der Methoden erläutern, die zur Bewertung von Textgenerierungs-LLMs verwendet werden.

Messung der Qualität eines LLM mit akademischen Prüfungen

Eine verbreitete Methode zur Bewertung der Effektivität eines generativen Sprachmodells besteht darin, es Prüfungen zu unterziehen. Beispielsweise wurde GPT-4 in einer Reihe von akademischen Tests gegen GPT-3.5 evaluiert. Dabei wird die Leistung des Modells sowohl mit menschlichen Bewertungen als auch mit denen früherer Modelle verglichen, was Einblicke in seine Argumentationsfähigkeiten im akademischen Kontext bietet. Nachfolgend finden Sie eine kurze Zusammenstellung einiger Prüfungen, die mit GPT-4 durchgeführt wurden, sowie seine Vergleichsergebnisse gegenüber GPT-3.5 und der durchschnittlichen menschlichen Leistung:

Leistung von GPT-4 und GPT-3.5 bei standardisierten Prüfungen im Vergleich zum menschlichen Durchschnitt.

Eine weitere Leistungsmetrik, die akademischen Prüfungen ähnelt, besteht darin, dem Modell verschiedene Frage-und-Antwort-Datensätze (QnA) zu präsentieren. Dieser Ansatz wird im Hugging Face Open LLM Leaderboard verwendet und bietet eine wertvolle Ressource zum Vergleich verschiedener LLMs basierend auf ihrer Leistung bei QnA-Datensätzen. Diese Datensätze bieten eine einfache Möglichkeit, ein LLM zu benchmarken und seine allgemeine Intelligenz und logischen Fähigkeiten zu bewerten.

Qualitätsvergleichstabelle zwischen LLMs

Es ist wichtig zu beachten, dass der Vergleich eines 0-Shot-Ergebnisses mit einem 25-Shot-Ergebnis wenig Wert hat. Idealerweise sollten Sie für Qualitätsvergleiche die Art des verwendeten Promptings konsistent halten. Selbst beim Vergleich zweier Datenpunkte mit derselben Prompting-Methode können Unterschiede in den Testverfahren immer noch zu Ungenauigkeiten führen. Dennoch sollte die folgende Tabelle einen groben Qualitätsvergleich bieten:

Eine Qualitätsvergleichstabelle zwischen LLMs bei ARC-, MMLU- und WinoGrande-Tests mit Few-Shot- und Zero-Shot-Prompting.

Was ist das derzeit beste LLM für die Verwendung als Chatbot?

Betrachtet man diese Tabelle unter Berücksichtigung der zuvor genannten Einschränkungen, wird deutlich, dass GPT-4 in Bezug auf die Gesamtqualität das leistungsstärkste LLM ist. Für das beste Preis-Leistungs-Verhältnis bieten die Mistral-Modelle jedoch die optimale Wahl. Insbesondere die 8x7B-Mistral-Version verwendet eine einzigartige Technik, die mehrere Mistral 7b-Modelle kombiniert, was zu qualitativ hochwertigeren Ausgaben führt. Dieser Ansatz erzeugt ein hocheffizientes Modell, das auch bei Benchmark-Bewertungen hervorragende Ergebnisse liefert.

Wie Trainingsdaten LLMs beeinflussen können

Die Auswahl der Trainingsdatensätze für ein Modell wirft bedeutende Überlegungen auf. Welche Art von Daten wurde verwendet? Ist der Datensatz speziell für bestimmte Anwendungen zugeschnitten? Gibt es inhärente Verzerrungen im Datensatz, die das Modell beeinflussen könnten?

Wie Modellverzerrungen entstehen, am Beispiel von BERT

Bei den meisten LLMs sind die Trainingsdaten typischerweise umfangreich und zielen darauf ab, dem Modell ein grundlegendes Sprachverständnis zu vermitteln. BERT wurde beispielsweise mit Wikipedia (2.500 Millionen Wörter) und BookCorpus (800 Millionen Wörter) vortrainiert. In einigen Fällen, wie bei den Mistral-Modellen, ist der Trainingsdatensatz jedoch nicht öffentlich zugänglich.

Die Untersuchung dieser Datensätze kann Einblicke in potenzielle Verzerrungen geben, die dem Modell innewohnen. Betrachten wir BERT, das stark auf dem englischen Wikipedia-Datensatz für das Training basiert. Obwohl Wikipedia oft als neutrale und unvoreingenommene Quelle angesehen wird, trifft dies nicht immer zu. Beispielsweise berichtete The Guardian, dass nur 16% der Wikipedia-Editoren weiblich sind und lediglich 17% der Artikel über bemerkenswerte Personen über Frauen handeln. Darüber hinaus werden Inhalte über Subsahara-Afrika hauptsächlich von Personen außerhalb der Region verfasst. Da BERT auf der englischen Wikipedia basiert, ist es plausibel, dass Verzerrungen, die auf der Plattform vorhanden sind, vom Modell übernommen werden könnten. Tatsächlich gibt es Hinweise darauf, dass BERT geschlechtsspezifische und rassistische Verzerrungen in seinen Ausgaben aufweist. Zusammenfassend lässt sich sagen, dass Verzerrungen in den Trainingsdatensätzen vortrainierter Modelle deren Textgenerierungsfähigkeiten beeinflussen können. Daher ist es wichtig, solche Verzerrungen zu berücksichtigen, da sie das Endbenutzererlebnis beeinträchtigen.

Was ist ein feinabgestimmtes Modell?

Feinabstimmung (Fine-Tuning) beinhaltet das erneute Training eines bereits trainierten Modells auf neuen Daten, was oft zur Erstellung spezialisierter Ableger-Modelle führt, die auf bestimmte Zwecke zugeschnitten sind. Die Wahl der für die Feinabstimmung verwendeten Daten ist entscheidend für die Bewertung der potenziellen Anwendungen eines Modells. Beispielsweise wurde FinBERT, ein Ableger von BERT, auf einem umfangreichen Finanzsprachdatensatz feinabgestimmt, was es besonders nützlich für die Analyse der Finanzstimmung von Texten macht. Wenn Sie mehr über Feinabstimmung erfahren möchten, lesen Sie unseren Artikel: Wie man Large Language Models feinabstimmt?

Während einige Modelle mit der Absicht entwickelt werden, eine weitere Feinabstimmung zu ermöglichen, sind andere bereits feinabgestimmt, um spezifische Ziele zu erfüllen. Beispielsweise können Modelle wie Falcon zugehörige Chat-Versionen haben, die verfeinert wurden, um effektiv als Chatbots zu funktionieren. Es werden verschiedene Methoden zur Feinabstimmung von Modellen eingesetzt, deren Details jedoch über den Rahmen dieses Artikels hinausgehen. Im Allgemeinen gibt ein feinabgestimmtes Modell in der Regel Auskunft über seine beabsichtigten Zwecke und die spezifischen angewandten Feinabstimmungstechniken.

Welchen Datensatz verwendet jedes Sprachmodell?

Angesichts der erheblichen Auswirkungen der Trainingsdaten auf die Leistung eines Modells haben Entwickler verschiedene Web-Scraping-Methoden entwickelt, um hochwertige Datensätze zu erhalten. Beispielsweise scraped OpenAIs Webtext-Tool „alle ausgehenden Links von Reddit, die mindestens 3 Karma erhalten haben“. Nachfolgend finden Sie eine Zusammenstellung von Datensätzen, die von einigen der bekanntesten Modelle bis heute verwendet wurden, wobei zu beachten ist, dass viele Entwickler die von ihnen verwendeten Datensätze nicht offenlegen.

Datensätze, mit denen die beliebtesten LLMs trainiert wurden.

Die Lizenzierung und Verfügbarkeit von LLMs

Für die kommerzielle Nutzung von LLMs ist es unerlässlich, die Lizenzbedingungen eines bestimmten Modells zu bewerten. Darüber hinaus kann die Verfügbarkeit nuanciert sein: Bestimmte Modelle sind Closed-Source, sodass der Zugriff nur über deren API möglich ist.

Was ist ein Closed-Source-Sprachmodell?

Ein Closed-Source-Modell bedeutet, dass sein Quellcode nicht öffentlich zugänglich ist. Modelle wie GPT-3 und GPT-4 fallen in diese Kategorie und sind typischerweise nur über eine API zugänglich. Während die API-Integration zwar unkompliziert sein kann, ist sie auch mit Kosten verbunden. Generell ist es für die Plattformintegration, abhängig vom Umfang, kostengünstiger, ein Open-Source-Sprachmodell zu verwenden und es mit einer Plattform wie UbiOps zu trainieren oder bereitzustellen.

novita.ai LLM API

Was ist ein Open-Source-LLM?

Ein Open-Source-LLM bezieht sich auf ein Modell, das öffentlich zugänglich ist und, abhängig von seiner Lizenz, für kommerzielle Zwecke verwendet werden kann. Darüber hinaus kann es je nach Lizenzbedingungen nach Bedarf feinabgestimmt, geforkt oder modifiziert werden. Für die Plattformintegration oder Feinabstimmungszwecke ist es in der Regel ratsam, sich für ein Open-Source-Modell zu entscheiden.

Darüber hinaus fördert die Nutzung von Open-Source-Technologien den Fortschritt im LLM-Bereich, da sie Anreize für die Verbesserung und Anpassung von Modellen schafft, was letztendlich der gesamten Gemeinschaft zugutekommt.

Kommerzielle Lizenzen

Ein Modell mit einer kommerziellen Lizenz ist für geschäftliche Zwecke geeignet und ermöglicht die Integration in kommerzielle Plattformen.

Übersicht über LLMs und ihre Lizenzen.

Fazit

Die Auswahl eines LLM, das Ihren Anforderungen entspricht, mag überwältigend erscheinen, aber Sie können Ihren Bewertungsprozess optimieren, indem Sie die wichtigsten Merkmale mit Ihren Bedürfnissen vergleichen. Dazu gehören Größe, Typ, Qualitätsbenchmarks, Trainingsmethoden, Verzerrungen und Lizenzierung. Obwohl diese Liste als Ausgangspunkt dient, gibt es zahlreiche weitere zu berücksichtigende Faktoren. Dennoch soll dieser Artikel Ihnen das nötige Wissen vermitteln, um ein neu veröffentlichtes KI-Modell zu bewerten, damit Sie dessen potenzielle Eignung für Ihre Anforderungen bestimmen und entscheiden können, ob eine weitere Untersuchung gerechtfertigt ist.

novita.ai, die Komplettlösung für grenzenlose Kreativität, die Ihnen Zugang zu über 100 APIs bietet. Von Bildgenerierung und Sprachverarbeitung bis hin zu Audioverbesserung und Videobearbeitung – das kostengünstige Pay-as-you-go-Modell befreit Sie von GPU-Wartungsproblemen, während Sie Ihre eigenen Produkte entwickeln. Testen Sie es kostenlos.

Empfohlene Lektüre

Was ist der Unterschied zwischen LLM und GPT?

LLM Leaderboard 2024: Vorhersagen enthüllt

Novita AI LLM Inference Engine: der größte Durchsatz und die günstigste Inferenz, die verfügbar ist