Wichtige Highlights
Embedding-Modelle: Embedding-Modelle sind entscheidend für die Umwandlung komplexer Daten in numerische Darstellungen und ermöglichen es KI, Informationen effizient zu verstehen und zu verarbeiten.
BAAI/bge-m3: Das bge-m3-Modell bietet Multifunktionalität, unterstützt über 100 Sprachen und verarbeitet sowohl kurze Texte als auch lange Dokumente (bis zu 8192 Token). Seine Vielseitigkeit und Effizienz machen es ideal für eine breite Palette von KI-Aufgaben.
Das leistungsstarke bge-m3-Embedding-Modell ist auf Novita AI verfügbar, für nur 0,01 $/M Token. Starten Sie eine kostenlose Testversion auf Novita AI!
Embeddings sind ein Eckpfeiler des modernen maschinellen Lernens und befähigen KI-Systeme, komplexe Daten effizient zu erfassen und zu verarbeiten. Dieser Artikel befasst sich mit der Frage, was Embeddings sind, warum sie unverzichtbar sind, wie sie angewendet werden und wie fortschrittliche Modelle wie BAAI/bge-m3 die Embedding-Fähigkeiten auf ein neues Niveau heben, um Innovationen voranzutreiben.
Grundlegendes zu Embeddings
Embeddings sind anspruchsvolle numerische Darstellungen, die es maschinellen Lern- und KI-Systemen ermöglichen, komplexe Wissensbereiche zu erfassen. Sie wandeln reale Objekte in mathematische Repräsentationen um, die die intrinsischen Eigenschaften und Beziehungen innerhalb von Daten abbilden.
Vektordarstellungen
Im Kern dieser Embeddings steht das Konzept der Vektoren. Maschinelle Lernmodelle verarbeiten Informationen numerisch. Vektoren – Mengen numerischer Werte in einem mehrdimensionalen Raum – ermöglichen es diesen Modellen, Ähnlichkeiten zwischen verstreuten Datenpunkten zu erkennen. Diese numerische Darstellung ist entscheidend, weil Embedding-Vektoren gezielt nicht-numerische Informationen in Wertesequenzen kodieren, die maschinelle Lernsysteme verarbeiten und in Beziehung setzen können.
Von Qdrant
Wie werden Embeddings erstellt?
Ingenieure nutzen neuronale Netze, um Embeddings durch den folgenden Prozess zu generieren:
- Eingabeaufbereitung: Vektorisierte Stichproben werden in das neuronale Netz eingespeist.
- Mustererkennung: Das neuronale Netz identifiziert Muster in den Daten und lernt daraus, um genaue Vorhersagen für unbekannte Daten zu treffen.
- Feinabstimmung: Das Modell wird feinabgestimmt, um Eingabemerkmale angemessen in den gewünschten Dimensionsraum abzubilden.
- Eigenständiger Betrieb: Die Embeddings arbeiten unabhängig und ermöglichen es Modellen des maschinellen Lernens, auf Basis der vektorisierten Darstellungen Empfehlungen zu generieren.
- Kontinuierliche Optimierung: Das Modell wird regelmäßig mit neuen Daten überwacht und feinabgestimmt, um Genauigkeit und Anpassungsfähigkeit zu erhalten.
Von LinkedIn
Metriken zur Auswahl von Embeddings
| Bewertungsdimension | Beschreibung |
|---|---|
| Retrieval-Leistung | Bewertet anhand von Aufgaben, die die Fähigkeit des Modells zum Abrufen relevanter Informationen prüfen. |
| Semantisches Verständnis | Misst die Fähigkeit des Modells, semantische Informationen auf Wort-, Phrasen- und Satzebene zu erfassen. |
| Aufgabenspezifische Leistung | Bewertet die Leistung bei NLP-Aufgaben wie Klassifikation, Clustering und Ähnlichkeitsberechnung. |
| Modellgröße | Balancen den Kompromiss zwischen Modellgröße und Leistung für die Skalierbarkeit. |
| Verallgemeinerungsfähigkeit | Testet die Leistung des Modells auf unbekannten Daten zur Anpassungsfähigkeit in neuen Szenarien. |
Grundlegendes zum BAAI/bge-m3-Embedding-Modell
| Modellname | baai/bge-m3 |
|---|---|
| Eingabe-/Ausgabepreis (Novita) | Eingabe: 0,01 $/Millionen Token |
| Kontextgröße | 8192 |
| Zusätzliche Parameter | Embedding-Modell: 1024 Dimensionen |
| Hauptmerkmale | Multifunktionalität: Unterstützt dichtes Retrieval, Multi-Vektor-Retrieval und dünnbesetztes Retrieval. |
| Mehrsprachigkeit: Unterstützt über 100 Sprachen. | |
| Mehrgranularität: Verarbeitet Eingaben von kurzen Sätzen bis zu langen Dokumenten (bis zu 8192 Token). | |
| Erzeugt gleichzeitig Token-Gewichte und dichte Embeddings. |
Die folgende Abbildung zeigt einen Leistungsvergleich mit mE5 (beste Baseline) und den kürzlich veröffentlichten Vektormodell-APIs von OpenAI. Insgesamt erzielt BGE-M3 (ALL) unter Verwendung aller drei kombinierten Retrieval-Methoden umfassende Vorteile in allen drei Bewertungen, während BGE-M3 (Dense) für dichtes Retrieval deutliche Vorteile bei mehrsprachigen und sprachübergreifenden Retrieval-Aufgaben zeigt.
Sprachübergreifende Retrieval-Leistung auf MKQA (gemessen mit Recall@100) von Hugging Face
Mehrsprachige Retrieval-Leistung auf dem MIRACL-Dev-Set (gemessen mit nDCG@10) von Hugging Face
Bewertung des mehrsprachigen Langdokument-Retrievals auf dem MLDR-Testset (gemessen mit nDCG@10) von Hugging Face
Warum sind Embeddings wichtig?
- Verbessertes Datenverständnis: Embeddings ermöglichen es Deep-Learning-Modellen, reale Daten besser zu verstehen, indem sie deren Darstellung vereinfachen und gleichzeitig semantische und syntaktische Beziehungen bewahren.
- Dimensionsreduktion: Sie wandeln hochdimensionale Daten in einen niedrigdimensionalen Raum um und reduzieren so den Rechenaufwand und die Zeit für die Verarbeitung von Rohdaten erheblich.
- Verbesserte Datenqualität: Embeddings verbessern die Datenqualität während des Trainings großer Sprachmodelle (LLMs).
- Ermöglichung innovativer Anwendungen: Sie dienen als Grundlage für neue Deep-Learning- und generative KI-Anwendungen.
- Optimierte maschinelle Lernaufgaben: Embeddings werden häufig als Merkmale in Aufgaben wie Dokumentklassifikation, Stimmungsanalyse und maschineller Übersetzung verwendet. Durch eine reichhaltige, komprimierte Darstellung der Daten verbessern sie die Leistung von Algorithmen des maschinellen Lernens.
Verwendung von Embeddings
- Suche: Ranking von Ergebnissen basierend auf ihrer Relevanz zu einer Abfrage.
- Clustering: Gruppierung von Textzeichenfolgen nach Ähnlichkeit.
- Empfehlungen: Vorschlagen von Elementen mit verwandten Textzeichenfolgen.
- Anomalieerkennung: Identifizieren von Ausreißern mit minimaler Ähnlichkeit zu anderen.
- Diversitätsmessung: Analyse von Ähnlichkeitsverteilungen zur Messung der Diversität.
- Klassifikation: Kategorisierung von Textzeichenfolgen nach dem ähnlichsten Label.
- Fragebeantwortung: Abrufen von Antworten mittels auf Embeddings basierender Suche.
- Codesuche: Effiziente Suche in Codebasen unter Verwendung von Embeddings.
- Datenvisualisierung: Transformation und Visualisierung hochdimensionaler Daten.
So greifen Sie auf das BAAI/bge-m3-Modell auf Novita AI zu
Novita AI ist eine KI-Cloud-Plattform, die Entwicklern eine einfache Möglichkeit bietet, KI-Modelle über unsere einfache API bereitzustellen und gleichzeitig eine erschwingliche und zuverlässige GPU-Cloud für Aufbau und Skalierung bereitstellt.
Schritt 1: Anmelden und auf die Modellbibliothek zugreifen
Melden Sie sich bei Ihrem Konto an und klicken Sie auf die Schaltfläche Modellbibliothek.
Schritt 2: Wählen Sie Ihr Modell und starten Sie eine kostenlose Testversion
Durchsuchen Sie die verfügbaren Optionen und wählen Sie das Modell aus, das Ihren Anforderungen entspricht.
Schritt 3: Holen Sie sich Ihren API-Schlüssel
Zur Authentifizierung bei der API stellen wir Ihnen einen neuen API-Schlüssel zur Verfügung. Gehen Sie auf die Seite „Einstellungen“ und kopieren Sie den API-Schlüssel wie im Bild gezeigt.
Schritt 4: Installieren Sie die API
Installieren Sie die API mit dem für Ihre Programmiersprache spezifischen Paketmanager.
Nach der Installation importieren Sie die erforderlichen Bibliotheken in Ihre Entwicklungsumgebung. Initialisieren Sie die API mit Ihrem API-Schlüssel, um mit Novita AI LLM zu interagieren. Dies ist ein Beispiel für die Verwendung der Chat-Completions-API für Python-Benutzer.
from openai import OpenAI
import json
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<Your API Key>",
)
model = "baai/bge-m3"
def get_embeddings(text, model="baai/bge-m3", encoding_format="float"):
response = client.embeddings.create(
model=model,
input=text,
encoding_format=encoding_format
)
return response
# Example usage
text = "The quick brown fox jumped over the lazy dog"
result = get_embeddings(text)
print(json.dumps(result.model_dump(), indent=2))
Bei der Registrierung gewährt Novita AI ein Guthaben von 0,50 $, um Ihnen den Einstieg zu erleichtern!
Wenn das kostenlose Guthaben aufgebraucht ist, können Sie bezahlen, um es weiter zu nutzen.
Embeddings spielen eine entscheidende Rolle im maschinellen Lernen, da sie es Modellen ermöglichen, komplexe Daten effektiv zu verstehen und zu verarbeiten. Fortschrittliche Modelle wie BAAI/bge-m3 heben diese Fähigkeiten durch Multifunktionalität und umfangreiche Sprachunterstützung auf ein neues Niveau und sind damit unverzichtbare Werkzeuge für die Förderung von KI-Innovationen.
Häufig gestellte Fragen
Was ist ein Embedding?
Ein Embedding ist eine Technik, mit der Eingabedaten in einen Vektor numerischer Werte in einem niedrigerdimensionalen Raum umgewandelt werden.
Warum sind Embeddings wichtig?
Embeddings vereinfachen die Datenrepräsentation, bewahren semantische und syntaktische Beziehungen und ermöglichen es Deep-Learning-Modellen, reale Daten effektiver zu verstehen.
Was ist hybrides Retrieval und wie unterstützt BAAI/bge-m3 dies?
Hybrides Retrieval kombiniert Embedding- und dünnbesetzte Retrieval-Methoden, und BAAI/bge-m3 unterstützt diesen Ansatz für eine verbesserte Retrieval-Leistung. Sie können es auf Novita AI verwenden!
Novita AI ist die All-in-One-Cloud-Plattform, die Ihre KI-Ambitionen unterstützt. Integrierte APIs, Serverless, GPU-Instanz – die kosteneffektiven Werkzeuge, die Sie brauchen. Infrastruktur eliminieren, kostenlos starten und Ihre KI-Vision verwirklichen.
