Einleitung
Der Bereich der künstlichen Intelligenz erlebt ein rasantes Wachstum und eine zunehmende Diversifizierung, angetrieben durch die wachsende Nachfrage in verschiedenen Sektoren. Databricks Dolly hat sich als bedeutender Akteur in der Landschaft der großen Sprachmodelle (LLM) etabliert und bietet eine Alternative zu etablierten Anbietern wie ChatGPT und Google Bard. Bei der Bewertung von LLM-Optionen für Ihr Unternehmen ist es entscheidend zu verstehen, wo Modelle wie Dolly auf dem Markt stehen. Dieses Verständnis hilft Ihnen, fundierte Entscheidungen zu treffen, die mit Ihrer Infrastruktur, Ihren Geschäftszielen und betrieblichen Anforderungen übereinstimmen.
KI-Technologien haben sich weiterentwickelt und sind fortschrittlicher und zugänglicher geworden, was zu einer breiten Akzeptanz und Anerkennung führt, da die Technologie rasant reift. Der Markt erlebt einen Anstieg KI-gestützter Produkte und Dienstleistungen, die von ausgefeilten Analyse- und Automatisierungstools bis hin zu KI-gesteuerten Kundendienst- und Marketinglösungen reichen.
Was ist Databricks Dolly?
Databricks Dolly zeichnet sich als Open-Source-Großsprachmodell aus, das für die Verarbeitung natürlicher Sprachinstruktionen entwickelt wurde und generative Textantworten für Aufgaben wie Zusammenfassung, Beantwortung von Fragen und Brainstorming liefert. Im Gegensatz zu geschlossenen Optionen wie ChatGPT wurde Databricks Dolly (offiziell als Databricks Dolly 2.0 bekannt) mit einem Trainingsdatensatz verfeinert, der von Databricks-Mitarbeitern durch Crowdsourcing erstellt wurde. Dieses Modell mit 12 Milliarden Parametern wurde auf der Grundlage von über 13.000 Demonstrationen von Instruktionsbefolgungsverhalten entwickelt, die von mehr als 5.000 Databricks-Mitarbeitern zwischen März und April 2023 bereitgestellt wurden.
Das folgende Video können Sie sich ansehen: Video-Link
Databricks Dolly 2.0 vs. 1.0
In ihrem Blogbeitrag zur Ankündigung von Databricks Dolly 2.0 erläuterte das Unternehmen seine Entscheidung, ein Open-Source-Modell und einen benutzerdefinierten Datensatz zu verwenden, und betonte, dass Unternehmen die Freiheit haben werden, ihre eigenen großen Sprachmodelle zu erstellen oder anzupassen, „ohne API-Zugangsgebühren zahlen oder Daten mit externen Parteien teilen zu müssen“.
Databricks hebt seinen Feintuning-Instruktionsdatensatz, databricks-dolly-15k, als „den ersten Open-Source-, von Menschen erstellten Instruktionsdatensatz hervor, der speziell entwickelt wurde, um großen Sprachmodellen den interaktiven Charme von ChatGPT zu verleihen“. Im Gegensatz zu seinem Vorgänger Dolly 1.0, der im März 2023 vorgestellt wurde, Ausgaben von ChatGPT enthielt, auf einem Modell mit halb so vielen Parametern trainiert wurde, auf einem begrenzten Datensatz von 50.000 Antwort-Paaren verfeinert wurde und keine kommerzielle Nutzungslizenz hatte, wurde Dolly 2.0 im April 2023 auf einem Open-Source-Modell mit 12 Milliarden Parametern (von EleutherAI) trainiert und ist vor allem aufgrund seiner per Crowdsourcing erstellten, von Menschen generierten Frage-Antwort-Paare kommerziell einsetzbar.
Unternehmen, die die Einführung von Databricks Dolly 2.0 in Betracht ziehen, können auf die Zuverlässigkeit des Datensatzes vertrauen. Databricks legte klare Richtlinien für die Erstellung des Daten- und Antwortsatzes fest und stellte sicher, dass alle Antworten von Menschen generiert und einzigartig waren.
Wer sollte Databricks Dolly nutzen?
Dollys Alleinstellungsmerkmal liegt in seinem Open-Source-Datensatz, der klare Vorteile für Unternehmen bietet, die KI-Lösungen für spezifische Anwendungsfälle entwickeln möchten. Hier sind einige Szenarien, in denen Databricks Dolly besonders geeignet sein könnte:
- Unternehmen mit strengen Daten-Compliance-Vorschriften: Dollys Open-Source-Charakter, unabhängig von APIs, ermöglicht es Organisationen in stark regulierten Branchen, KI-Lösungen zu entwickeln, ohne die Daten- oder Compliance-Probleme auszulösen, die typischerweise mit API-abhängigen Tools verbunden sind.
- KI-Forscher und -Entwickler: Dolly bietet eine robuste und dennoch hochgradig anpassbare Plattform, die es Forschern und Entwicklern ermöglicht, das Modell bei Bedarf schnell anzupassen. Diese Flexibilität fördert ein größeres Potenzial für Innovation und Experimente.
- Verbesserung bestehender Frage-Antwort-Lösungen: Die Nutzung der Struktur von Databricks Dolly zur Integration von Frage-Antwort-Paaren aus einer bestehenden Lösung ist eine ideale Anwendung. Beispielsweise ist es mit Dolly möglich, eine technische Support-Datenbank, die auf Q&A basiert, in ein interaktives Erlebnis zu verwandeln.
Wirklich offene große Sprachmodelle
Kunden haben immer wieder den Wunsch geäußert, ihre Modelle selbst zu besitzen, um qualitativ hochwertigere Modelle zu entwickeln, die auf ihre domänenspezifischen Anwendungen zugeschnitten sind, ohne ihre sensiblen Daten an Dritte weiterzugeben.
Es wird angenommen, dass die Bewältigung entscheidender Probleme wie Verzerrung, Verantwortlichkeit und KI-Sicherheit die Beteiligung einer vielfältigen Gemeinschaft von Interessengruppen erfordert, nicht nur die einiger großer Unternehmen. Open-Source-Datensätze und -Modelle fördern Kommentare, Forschung und Innovation und schaffen ein Umfeld, in dem alle von den Fortschritten der künstlichen Intelligenz profitieren können.
Als technisches und Forschungsartefakt wird von Dolly nicht erwartet, dass es in Bezug auf die Effektivität an der Spitze steht. Es wird jedoch erwartet, dass sowohl Dolly als auch der Open-Source-Datensatz als Grundlage für zahlreiche nachfolgende Arbeiten dienen und möglicherweise die Entwicklung noch leistungsfähigerer Sprachmodelle katalysieren.
Anwendungsfälle von Databricks Dolly
In ihrem offiziellen Blog stellen sie einige Anwendungen und Anwendungsfälle von Databricks Dolly vor:
- Offene Q&A: Beispiele sind Fragen wie „Warum mögen Menschen Komödien?“ oder „Was ist die Hauptstadt von Frankreich?“. Einige Fragen haben keine endgültige Antwort, andere erfordern ein allgemeines Weltwissen.
- Geschlossene Q&A: Diese Fragen können nur anhand der Informationen in einem gegebenen Referenztext beantwortet werden. Wenn man beispielsweise einen Absatz aus einem Wikipedia-Artikel über Atome erhält, könnte man fragen: „Wie ist das Verhältnis von Protonen zu Neutronen im Kern?“
- Informationen aus Wikipedia extrahieren: Bei dieser Aufgabe wählt ein Annotator einen Absatz aus einem Wikipedia-Artikel aus und identifiziert Entitäten oder faktenbasierte Details wie Gewichte oder Maße, die in der Passage enthalten sind.
- Informationen aus Wikipedia zusammenfassen: Annotatoren haben die Aufgabe, eine Passage aus Wikipedia in eine kurze Zusammenfassung zu komprimieren.
- Brainstorming: Dabei werden offene Ideen generiert und eine Liste möglicher Optionen bereitgestellt. Zum Beispiel: „Welche unterhaltsamen Aktivitäten kann man am Wochenende mit Freunden unternehmen?“
- Klassifikation: Annotatoren treffen Entscheidungen zur Klassenmitgliedschaft, z. B. die Kategorisierung von Elementen in einer Liste als Tiere, Mineralien oder Gemüse, oder die Bewertung der Eigenschaften einer kurzen Passage, wie die Stimmung, die in einer Filmkritik zum Ausdruck kommt.
- Kreatives Schreiben: Zu den Aufgaben in dieser Kategorie gehören das Verfassen von Gedichten oder das Schreiben eines Liebesbriefs.
Beispiel für offene Q&A in databricks-dolly-15k
So installieren Sie Databricks Dolly
Um die Modellgewichte von Dolly 2.0 herunterzuladen, besuchen Sie einfach die Databricks Hugging Face-Seite und gehen Sie zum Dolly-Repository auf databricks-labs, um das databricks-dolly-15k-Dataset herunterzuladen.
Einschränkungen des Databricks Dolly LLM
Obwohl das Open-Source-Modell von Databricks Dolly LLM zahlreiche Vorteile bietet, insbesondere für hochgradig zielgerichtete kommerzielle Anwendungen, ist es keine universelle Lösung. Im Vergleich zu größeren, geschlossenen Modellen wie ChatGPT kann der kleinere Trainingssatz von Dolly zu weniger ausgereiften Ergebnissen führen. Auch sprachliche Einschränkungen sind weit verbreitet; derzeit ist Dolly 2.0 auf die Bereitstellung von Antworten nur in Englisch beschränkt.
Der Einsatz eines Open-Source-LLM wirft auch Bedenken hinsichtlich der erforderlichen Kenntnisse auf. Dies erfordert oft ein gründliches Verständnis des Trainings und der Nutzung von KI-Lösungen sowie erhebliche Rechenressourcen in der Unternehmensumgebung. Im Gegensatz dazu sind geschlossene generative KI-Modelle in der Regel sofort einsatzbereit und lassen sich mit benutzerdefinierten Lösungen integrieren. Die Abwägung von Überlegungen zur kommerziellen Tragfähigkeit und Ressourcenbeschränkungen bestimmt oft die geeignete Wahl des Modells.
Andererseits kann bei der Verwendung eines Open-Source-LLM die Privatsphäre nicht garantiert werden. Wenn Sie nach einem sicheren, zuverlässigen und kosteneffektiven Closed-Source-LLM suchen, können Sie sich für unser LLM entscheiden:
Und wir haben bereits LLM-APIs veröffentlicht, die sich nahtlos in Ihre LLMs integrieren lassen. Mit günstigsten Preisen und skalierbaren Modellen bietet die Novita AI LLM Inference API Ihrem LLM eine unglaubliche Stabilität und eine relativ geringe Latenz von weniger als 2 Sekunden.
Unsere LLM-API bietet auch die Funktion des Charakterspiels. Durch das Importieren Ihrer Lieblingscharakterkarte können Sie alles mit ihm/ihr besprechen.
Welches große Sprachmodell ist das richtige für Sie?
Die Einführung von Databricks Dolly LLM markiert einen bedeutenden Sprung bei kommerziell nutzbaren Open-Source-Großsprachmodellen, die auf den Unternehmenseinsatz zugeschnitten sind. Obwohl es nicht für jedes Szenario geeignet ist, ist sein Potenzial auf Unternehmensebene immens. Ob es sich um die Entwicklung kundenspezifischer Lösungen, die Verbesserung bestehender Tools oder die Pionierarbeit neuer KI-Anwendungen handelt – Databricks Dolly verdient Berücksichtigung, wenn Ihr Unternehmen ein Open-Source-Modell benötigt.
Sollten Sie Fragen zur Eignung von Databricks Dolly 2.0 für Ihren spezifischen Kontext haben oder Unterstützung bei der effektiven Nutzung von Dolly LLM benötigen, zögern Sie nicht, uns bei Graphable zu kontaktieren. Unsere kundenspezifischen Entwicklungsdienste sind darauf ausgerichtet, Ihnen bei der Konzeption und Realisierung von Lösungen zu helfen, die auf Ihre individuellen Unternehmensziele abgestimmt sind.
Databricks Dolly bietet eine vielseitige, robuste und benutzerfreundliche Plattform für Datenanalyse, prädiktive Modellierung und Automatisierungsanforderungen. Seine Anwendbarkeit erstreckt sich über verschiedene Branchen und Funktionen und macht es für Fachleute in einer Unternehmensumgebung unverzichtbar. Da die KI weiter voranschreitet, wird Dollys Rolle bei der Optimierung und Bereicherung datengesteuerter Entscheidungsfindung voraussichtlich weiter zunehmen.
Fazit
Zusammenfassend bietet Databricks Dolly LLM einen bedeutenden Fortschritt bei Open-Source-Großsprachmodellen, die auf den Unternehmenseinsatz zugeschnitten sind. Während es nicht für jedes Szenario geeignet ist, ist sein Potenzial für Anpassung und Innovation innerhalb spezifischer Anwendungsfälle erheblich. Organisationen, die qualitativ hochwertigere Modelle anstreben und dabei das Eigentum an ihren Daten behalten möchten, könnten Databricks Dolly als überzeugende Option betrachten.
Es ist jedoch wichtig, die Kompromisse zu bedenken. Open-Source-Modelle wie Databricks Dolly bieten Flexibilität und gemeinschaftsgetriebene Innovation, liefern aber möglicherweise nicht immer das gleiche Maß an Verfeinerung oder Sprachabdeckung wie geschlossene Modelle. Für diejenigen, die Zuverlässigkeit, Sicherheit und Kosteneffizienz abwägen, stellen Closed-Source-LLMs eine praktikable Alternative dar.
Letztendlich hängt die Wahl zwischen Open-Source- und Closed-Source-LLMs von den spezifischen Bedürfnissen, Zielen und Ressourcen Ihres Unternehmens ab. Unabhängig davon, ob Sie sich für Databricks Dolly oder ein anderes Modell entscheiden, ist es entscheidend, Ihre Entscheidung mit Ihren individuellen Unternehmensanforderungen abzustimmen, um datengesteuerte Entscheidungsfindung effektiv zu verbessern.
novita.ai, die One-Stop-Plattform für grenzenlose Kreativität, die Ihnen Zugang zu über 100 APIs bietet. Von der Bildgenerierung und Sprachverarbeitung bis hin zur Audioverbesserung und Videobearbeitung – günstig, nach Verbrauch abgerechnet, befreit es Sie von der Wartung der GPU-Infrastruktur, während Sie Ihre eigenen Produkte entwickeln. Testen Sie es kostenlos.
Empfohlene Lektüre
Novita AI LLM Inference Engine: Der größte Durchsatz und die günstigste Inferenz verfügbar
