Dolly 2.0: Das volle Potenzial von Open-Source-Sprachmodellen erschließen

Einleitung

Databricks hat einen echten Meilenstein in der Welt der künstlichen Intelligenz vorgestellt – Dolly 2.0, das erste quelloffene, anweisungsbefolgende große Sprachmodell (LLM), das für kommerzielle Zwecke verfügbar ist. Aber was macht Dolly 2.0 so revolutionär, und wie können Organisationen seine Fähigkeiten nutzen, um Innovationen voranzutreiben? Dieser umfassende Leitfaden beleuchtet die technische Leistungsfähigkeit, die überzeugenden Stärken und die vielfältigen Einsatzmöglichkeiten dieses leistungsstarken KI-Modells und untersucht gleichzeitig, wie die LLM API seine Grenzen überwinden kann.

Was ist Dolly 2.0?

Dolly 2.0 ist der neueste Durchbruch bei großen Sprachmodellen (LLMs), entwickelt von Databricks. Aufbauend auf dem Erfolg des früheren Dolly 1.0 Modells ist Dolly 2.0 das erste quelloffene, anweisungsbefolgende LLM, das für die kommerzielle Nutzung verfügbar ist.

Technische Details von Dolly 2.0

Dolly 2.0 ist ein Modell mit 12 Milliarden Parametern, das auf einem neuen Datensatz namens databricks-dolly-15k feinabgestimmt wurde. Dieser Datensatz wurde von über 5.000 Databricks-Mitarbeitern sorgfältig erstellt, die 15.000 qualitativ hochwertige Prompt-Antwort-Paare generierten, die speziell für das Training eines anweisungsbefolgenden LLMs entwickelt wurden. Im Gegensatz zu früheren Datensätzen ist databricks-dolly-15k unter einer Creative-Commons-Lizenz vollständig für die kommerzielle Nutzung lizenziert.

Dieser neue Datensatz namens databricks-dolly-15k enthält 15.000 hochwertige Prompt-Antwort-Paare, die speziell für die Anweisungsanpassung (Instruction Tuning) großer Sprachmodelle entwickelt wurden. Der Datensatz wurde im März und April 2023 per Crowdsourcing von über 5.000 Databricks-Mitarbeitern erstellt, die durch einen Wettbewerb dazu angeregt wurden, eine breite Palette von Prompts und Antworten zu generieren, die Aufgaben wie offene Fragerunden, fragenbasiertes Wissen ohne Kontext, Informationsextraktion und Zusammenfassung, Brainstorming, Klassifikation und kreatives Schreiben abdecken.

Databricks übertraf dabei das ursprüngliche Ziel von 10.000 und nutzte Gamification, um diesen umfangreichen Datensatz schnell zu sammeln – der im Gegensatz zu früheren Anweisungsdatensätzen unter einer Creative-Commons-Lizenz für die kommerzielle Nutzung lizenziert ist.

Warum hat Databricks Dolly 2.0 kommerziell nutzbar gemacht?

Databricks‘ Weg zur Schaffung eines kommerziell nutzbaren Anweisungs-LLMs wurde von der Kundennachfrage angetrieben. Als Dolly 1.0 veröffentlicht wurde, war die wichtigste Frage, ob es kommerziell genutzt werden könne – aber der zugrunde liegende Datensatz hatte Nutzungsbedingungen, die dies untersagten. Um dieses Problem zu lösen, sammelte Databricks per Crowdsourcing den neuen Datensatz databricks-dolly-15k, wobei über 5.000 begeisterte Mitarbeiter qualitativ hochwertige, originale Prompt-Antwort-Paare erstellten.

Das Ergebnis ist Dolly 2.0 – ein leistungsstarkes, quelloffenes LLM, das jede Organisation nutzen, modifizieren und erweitern kann, um domänenspezifische KI-Assistenten und Anwendungen zu entwickeln. Databricks glaubt, dass dieser Ansatz der offenen, gemeinschaftsgetriebenen KI-Entwicklung entscheidend ist, um sicherzustellen, dass KI allen zugutekommt, nicht nur einigen wenigen großen Technologieunternehmen.

Die Stärken von Dolly 2.0

Anpassbare Feinabstimmungsmöglichkeiten

Im Gegensatz zu verwalteten großen Sprachmodellen (LLMs) wie ChatGPT bietet Dolly 2.0 den Benutzern die vollständige Kontrolle über den Feinabstimmungsprozess. Anstatt durch Pro-Token- oder Pro-Eintrag-Gebühren eingeschränkt zu sein, die von verwalteten Dienstanbietern erhoben werden, können Benutzer die vortrainierten quelloffenen Dolly 2.0 Modelle ohne zusätzliche Kosten an ihre spezifischen Bedürfnisse anpassen. Entscheidend ist, dass Dolly 2.0-Benutzer auch vollständigen Zugriff auf die Bewertungsmetriken und ein klares Verständnis des Modellverhaltens haben, was Data Scientists mehr Vertrauen und Sicherheit im Umgang mit der Technologie gibt.

Skalierbare und anpassbare Infrastruktur

Dolly 2.0 bietet den Benutzern die Freiheit, die Modelle in ihrer bevorzugten Cloud oder auf einer lokalen Infrastruktur bereitzustellen, was die Flexibilität gibt, die für ihre Bedürfnisse am besten geeignete Umgebung auszuwählen. Wenn der Bedarf an verbesserter Latenz oder höherem Durchsatz besteht, können Benutzer ihre Infrastruktur bei Bedarf problemlos hoch- oder herausskalieren, indem sie zusätzliche Cloud-Ressourcen bereitstellen. Diese Fähigkeit zur dynamischen Skalierung ist besonders wertvoll für Organisationen mit variablen Arbeitslasten. Diese Flexibilität der Infrastruktur ist bei verwalteten LLM-Diensten normalerweise nicht gegeben, bei denen die Benutzer auf die eigenen Skalierungsfähigkeiten des Anbieters beschränkt sind.

Sicherer und vertraulicher Datenumgang

Für Branchen mit strengen Datenschutz- und Vertraulichkeitsanforderungen, wie etwa Finanz- und Gesundheitswesen, bietet Dolly 2.0 eine sicherere Alternative zu extern gehosteten verwalteten LLM-Diensten. Bei der Feinabstimmung der Dolly 2.0 Modelle können Benutzer dies tun, ohne vertrauliche Daten Dritten preiszugeben. Darüber hinaus kann die Inferenz vollständig auf den eigenen sicheren Servern des Benutzers durchgeführt werden, sodass sichergestellt ist, dass sensible Informationen die kontrollierte Umgebung nie verlassen. Dies steht im Gegensatz zu verwalteten Diensten wie ChatGPT, bei denen die Benutzer dem Dienstanbieter vertrauen müssen, dass er die notwendige Datensicherheitslage aufrechterhält und die einschlägigen Vorschriften einhält.

Uneingeschränkte kommerzielle Nutzung

Die Apache 2.0-Lizenz von Dolly 2.0 gewährt den Benutzern die Freiheit, die Modelle ohne Einschränkungen für jeden kommerziellen Zweck zu nutzen. Diese offene und großzügige Lizenzierung ermöglicht es Organisationen, Produkte, die die Dolly 2.0 Modelle nutzen, frei zu verkaufen oder Dienste zu betreiben, ohne Lizenzgebühren zahlen oder komplexe Lizenzvereinbarungen aushandeln zu müssen. Diese Flexibilität ist bei anderen quelloffenen großen Sprachmodellen nicht immer gegeben, die möglicherweise restriktivere Nutzungsbedingungen haben oder Lizenzgebühren für bestimmte kommerzielle Anwendungen verlangen.

Kommerzielle Anwendungen von Dolly 2.0

Anpassbare KI-Assistenten

Da Dolly 2.0 ein quelloffenes, kommerziell nutzbares, anweisungsbefolgendes Sprachmodell ist, können Organisationen es nutzen, um maßgeschneiderte KI-Assistenten für ihre spezifischen Bedürfnisse zu bauen. Anstatt auf generische Chatbots oder Assistenten beschränkt zu sein, können Unternehmen Dolly 2.0 feinabstimmen und anpassen, um domänenspezifische Unterstützung für ihre Mitarbeiter und Kunden zu bieten.

Beispielsweise könnte ein Finanzdienstleistungsunternehmen Dolly 2.0 nehmen und es auf ihren internen Richtlinien, Produktinformationen und Kundendienst-Daten weiter trainieren. Dadurch könnten sie einen hochpersonalisierten KI-Assistenten einsetzen, der eine breite Palette von Kundenanfragen bearbeiten kann – von Kontoverwaltung bis hin zu Anlageberatung – und dabei die Unternehmensstandards einhält.

Content-Erstellung und Ideenfindung

Die breiten anweisungsbefolgenden Fähigkeiten von Dolly 2.0 machen es gut geeignet für Aufgaben der Content-Erstellung und Ideenfindung. Unternehmen in Bereichen wie Marketing, Werbung und Medien könnten Dolly 2.0 nutzen, um erste Entwürfe von Artikeln, Social-Media-Beiträgen, Kreativ-Briefings und mehr zu generieren. Die Fähigkeit des Modells, Informationen zusammenzufassen und neue Ideen zu entwickeln, könnte den Content-Produktionsprozess erheblich beschleunigen.

Eine Marketingagentur könnte beispielsweise Dolly 2.0 nutzen, um schnell Kampagnenkonzepte zu prototypisieren, Beispiel-Social-Media-Texte zu schreiben und sogar erste kreative Assets wie Schlagzeilen und Slogans zu erstellen. Menschen könnten dann die Ausgaben des Modells verfeinern und an ihre spezifischen Marken- und Nachrichtenanforderungen anpassen.

Automatisierte Datenanalyse

Organisationen mit großen Datensätzen, wie Marktforschungsunternehmen oder Business-Intelligence-Teams, könnten Dolly 2.0 einsetzen, um bestimmte Datenanalyse- und Berichtsaufgaben zu automatisieren. Die Kompetenz des Modells, Schlüsselinformationen aus Text zu extrahieren, gezielte Fragen zu beantworten und Erkenntnisse zusammenzufassen, könnte helfen, erste Analyseergebnisse zu generieren, die Menschen dann validieren und erweitern können.

Dies könnte den Zeit- und Arbeitsaufwand reduzieren, der erforderlich ist, um Rohdaten in umsetzbare Erkenntnisse zu verwandeln, sodass Analysten sich mehr auf hochrangige Interpretation und strategische Empfehlungen konzentrieren können, anstatt auf niedrigschwellige Datenverarbeitung.

Der quelloffene und kommerziell freundliche Charakter von Dolly 2.0 eröffnet ein breites Spektrum potenzieller Anwendungsfälle in verschiedenen Branchen und ermöglicht es Organisationen, maßgeschneiderte KI-Lösungen zu entwickeln, die ihren individuellen Bedürfnissen und Prioritäten entsprechen. Wie Databricks betont hat, zielt dieser Ansatz darauf ab, sicherzustellen, dass die Vorteile fortschrittlicher Sprachmodelle einer breiteren Gemeinschaft zugänglich sind, nicht nur einigen wenigen großen Technologieunternehmen.

Wie starte ich mit Dolly 2.0?

Wenn Sie mit Dolly 2.0 beginnen möchten, ohne das Modell zu trainieren, finden Sie hier die Anleitung:

1. Das vortrainierte Dolly 2.0-Modell ist auf Hugging Face als databricks/dolly-v2-12b verfügbar.

2. So verwenden Sie das Modell mit der Transformers-Bibliothek auf einer Maschine mit A100-GPUs:

from transformers import pipeline
import torch

instruct_pipeline = pipeline(model=“databricks/dolly-v2-12b”, torch_dtype=torch.bfloat16, trust_remote_code=True, device_map=“auto”)

Sie können dann instruct_pipeline verwenden, um Antworten auf Anweisungen zu generieren.

3. Für andere GPU-Instanzen:

(1) A10-GPUs:

• Die Modelle mit 6,9B und 2,8B Parametern sollten ohne Änderungen funktionieren.
• Für das 12B-Parameter-Modell müssen Sie das Modell mit 8-Bit-Gewichten laden und ausführen, was die Ergebnisse geringfügig beeinflussen kann.

(2) V100-GPUs:

• Setzen Sie torch_dtype=torch.float16 im pipeline()-Befehl anstelle von torch.bfloat16.
• Das 12B-Parameter-Modell funktioniert auf V100s möglicherweise nicht gut im 8-Bit-Modus.

Die wichtigsten Punkte: Das vortrainierte Dolly 2.0-Modell ist auf Hugging Face verfügbar, und Sie können die Transformers-Bibliothek verwenden, um das Modell zu laden und für die Antwortgenerierung zu nutzen. Die spezifische Konfiguration muss jedoch möglicherweise je nach verfügbarer GPU-Hardware angepasst werden. Weitere Informationen finden Sie auf Github unter databrickslabs/dolly.

Grenzen und Schwächen von Dolly 2.0

Obwohl Dolly 2.0 einen bedeutenden Fortschritt bei quelloffenen, kommerziell nutzbaren, anweisungsbefolgenden Sprachmodellen darstellt, ist es nicht ohne Einschränkungen.

Sprachliche Einschränkungen

Eine wesentliche Schwäche ist die fehlende umfangreiche Trainingsbasis in anderen Sprachen als Englisch. Weder Dolly 2.0 noch sein zugrunde liegendes Pythia-Backbone wurden umfassend auf nicht-englischen Datensätzen trainiert. Dies bedeutet, dass Anwendungen, die mehrsprachige Fähigkeiten erfordern, wahrscheinlich erhebliche Feinabstimmungsbemühungen unternehmen müssten, um die Nuancen anderer Sprachen zu erfassen, was angesichts der unzähligen sprachlichen Merkmale, die berücksichtigt werden müssen, möglicherweise keine praktikable Strategie ist.

Kontextbezogene Einschränkungen

Eine weitere Einschränkung ist das relativ schmale Token-Fenster von 2.048 Token bei Dolly 2.0. Dies ist deutlich kleiner als die Kontextgrößen, die von vielen verwalteten Sprachmodellen unterstützt werden, die bis zu 32.000 Token oder mehr betragen können. Für Anwendungsfälle mit großen Eingaben, wie z. B. die Zusammenfassung langer Dokumente, kann Dolly 2.0 Chunking-Strategien erfordern und aufgrund des begrenzten Kontexts, den es auf einmal verarbeiten kann, möglicherweise suboptimale Ergebnisse liefern.

Skalierbarkeitsbedenken

Darüber hinaus skalieren die aktuellen Dolly 2.0 Modelle noch nicht in den Bereich von 100 Milliarden Parametern, was einige Anwendungen möglicherweise benötigen, um mit den Fähigkeiten von Modellen wie ChatGPT konkurrieren zu können. Diese Größenbeschränkung könnte die Leistung von Dolly 2.0 in bestimmten risikoreichen oder geschäftskritischen Szenarien einschränken, in denen die leistungsstärksten Sprachmodelle erforderlich sind.

Laufende Einschränkungen

Databricks hat auch eingeräumt, dass Dolly 2.0 als forschungsorientiertes Modell in aktiver Entwicklung verschiedene andere Einschränkungen aufweisen kann. Dazu gehören Schwierigkeiten bei der Verarbeitung komplexer Prompts, Beantwortung offener Fragen, korrekte Formatierung von Schreibaufgaben, Codegenerierung, mathematische Operationen und die Aufrechterhaltung eines konsistenten Humors oder Schreibstils. Obwohl diese Schwächen wahrscheinlich durch weitere Iterationen und Verfeinerungen behoben werden, stellen sie derzeit Einschränkungen dar, die Benutzer bei der Prüfung von Dolly 2.0 für ihre spezifischen Anwendungen beachten sollten.

Überwindung der Grenzen von Dolly 2.0

Obwohl quelloffene Modelle wie Dolly 2.0 wichtige Fortschritte darstellen, haben sie immer noch erhebliche Einschränkungen, die ihre praktische Anwendbarkeit einschränken können. Um diese Einschränkungen zu überwinden, bietet Novita AI eine umfassende LLM API, die Organisationen die Flexibilität und Fähigkeiten bietet, die sie benötigen, um wirklich maßgeschneiderte KI-Lösungen zu entwickeln.

Modellvielfalt und Anpassung

Im Kern unserer LLM API steht die Möglichkeit, aus einer Vielzahl großer Sprachmodelle zu wählen, nicht nur aus einer einzigen vortrainierten Option. Das bedeutet, dass Sie das Modell auswählen können, das am besten zu Ihrem spezifischen Anwendungsfall passt – sei es eine mehrsprachige Variante für globale Anwendungen, ein Modell mit höherer Parameteranzahl für geschäftskritische Aufgaben oder eine spezialisierte, domänenoptimierte Version für branchenspezifische Anforderungen.

Aber die Modellauswahl ist nur der Anfang. Unsere API ermöglicht es Ihnen auch, den Tonfall, die Persönlichkeit und das Verhalten Ihres gewählten LLM systematisch zu ändern, indem Sie sorgfältig erstellte Prompts verwenden. Durch die Feinabstimmung der Antwortmuster des Modells können Sie sicherstellen, dass Ihr KI-Assistent genau die Stimme, Empathie und Fachkenntnis zeigt, die erforderlich sind, um Ihre Benutzer oder Kunden effektiv anzusprechen.

Fortschrittliche Parametersteuerung

Zusätzlich zur Modell- und Prompt-Anpassung gibt Ihnen unsere LLM API granulare Kontrolle in die Hand. Sie können Schlüsselparameter wie Temperatur, top_p, presence_penalty und maximale Token anpassen, um die Ausgaben des Modells für Ihre spezifischen Anwendungsanforderungen zu optimieren. Dieses Maß an Anpassung ermöglicht es Ihnen, die perfekte Balance zwischen Kreativität, Kohärenz und Prägnanz zu finden.

Nahtlose Charakterintegration

Um die Benutzererfahrung weiter zu verbessern, unterstützt unsere LLM API die Integration benutzerdefinierter Charaktere, die mit Ihren Endbenutzern konversieren können. Diese Charaktere können so gestaltet werden, dass sie zu Ihrer Marke, Branche oder Zielgruppe passen, und helfen so, eine immersivere und personalisiertere Interaktion zu schaffen. Durch die Kombination der Leistungsfähigkeit großer Sprachmodelle mit der Vertrautheit eines sympathischen Charakters können Sie KI-Assistenten entwickeln, die bei Ihrem Publikum wirklich ankommen.

Fazit

Obwohl Dolly 2.0 eine vielversprechende quelloffene Alternative zu kommerziell eingeschränkten anweisungsbefolgenden Sprachmodellen bietet, ist es nicht ohne Einschränkungen. Organisationen sollten die Fähigkeiten und Einschränkungen von Dolly 2.0 im Kontext ihrer spezifischen Anwendungsfälle und Anforderungen sorgfältig bewerten, bevor sie es einsetzen. Um die Grenzen von Dolly 2.0 und anderen quelloffenen Sprachmodellen zu überwinden, kann die umfassende LLM API von Novita AI eine leistungsstarke Lösung bieten.

Novita AI, die One-Stop-Plattform für grenzenlose Kreativität, die Ihnen Zugang zu über 100 APIs bietet. Von Bildgenerierung und Sprachverarbeitung bis hin zu Audioverbesserung und Videobearbeitung – günstig und pay-as-you-go, befreit Sie von der Mühe der GPU-Wartung, während Sie Ihre eigenen Produkte entwickeln. Testen Sie es kostenlos.