Qwen 3 für RAG (LLM, Embedding, Reranking) ist eine Open-Source-KI-Lösung, die für Retrieval-Augmented Generation entwickelt wurde. Sie kombiniert drei Hauptmodelle: Embedding-Modelle zum Auffinden relevanter Dokumente, Reranking-Modelle zur Sortierung der besten Ergebnisse und ein leistungsstarkes LLM zur Generierung klarer, präziser Antworten. Qwen 3 unterstützt lange Kontexte, mehrere Sprachen und ist einfach zu bedienen – ideal für den Aufbau intelligenter Such- und Frage-Antwort-Systeme.
Wie arbeiten LLM, Embedding-Modelle und Reranking-Modelle zusammen?
1. Embedding-Modelle: Retrieval verstehen
Zweck:
Relevante Informationen aus einer großen Sammlung von Dokumenten finden.
Funktionsweise:
- Jedes Dokument (oder Textabschnitt) wird mithilfe eines Embedding-Modells (z. B. OpenAI’s Ada, Sentence Transformers) in einen Vektor (eine Zahlenreihe) umgewandelt.
- Die Anfrage des Benutzers wird ebenfalls in einen Vektor eingebettet.
- Das System sucht nach Dokumentvektoren, die dem Anfragevektor am ähnlichsten sind (mithilfe von Ähnlichkeitsmetriken wie Cosine Similarity).
- Die N ähnlichsten Dokumente werden abgerufen.
2. Reranking-Modelle: Relevanz verbessern
Zweck:
Die Ergebnisse aus dem Embedding-Retrieval-Schritt verfeinern, indem sie präziser nach ihrer Relevanz zur Anfrage sortiert werden.
Funktionsweise:
- Der anfängliche Satz abgerufener Dokumente (z. B. die Top 20) wird mit einem Reranker erneut bewertet.
- Reranker verwenden häufig Cross-Encoder-Modelle (wie BERT, RoBERTa), die sowohl die Anfrage als auch jedes Dokument als Eingabe nehmen und einen Relevanzwert ausgeben.
- Die am besten bewerteten Dokumente werden für den nächsten Schritt ausgewählt.
3. LLM (Large Language Model): Antworten generieren
Zweck:
Eine kohärente und informative Antwort basierend auf dem abgerufenen Kontext generieren.
Funktionsweise:
- Die am besten bewerteten Dokumente werden als „Kontext“ konkateniert oder zusammengefasst.
- Das LLM wird mit der Benutzerfrage und dem abgerufenen Kontext gefüttert.
- Das LLM generiert eine Antwort, die idealerweise die abgerufenen Informationen zitiert oder nutzt.
Wie alles zusammenarbeitet (RAG-Pipeline)
- Benutzer sendet eine Anfrage.
- Embedding-Modell ruft relevante Dokumente ab.
- Reranker sortiert diese Dokumente nach Relevanz.
- LLM verwendet die Top-Dokumente, um eine Antwort zu generieren.
Welche Qwen 3 Modelle gibt es für RAG?
Qwen 3 Embedding-Modell
| Model | Size | Layers | Sequence Length | Embedding Dimension | MRL Support | Instruct Aware |
|---|---|---|---|---|---|---|
| Qwen3 Embedding 0.6B | 0.6B | 28 | 32K | 1024 | Yes | Yes |
| Qwen3 Embedding 4B | 4B | 36 | 32K | 2560 | Yes | Yes |
| Qwen3 Embedding 8B | 8B | 36 | 32K | 4096 | Yes | Yes |
Qwen 3 Reranker-Modell
| Model | Size | Layers | Sequence Length | Instruct Aware |
| Qwen3-Reranker-0.6B | 0.6B | 32 | 32K | Yes |
| Qwen3-Reranker-4B | 4B | 36 | 32K | Yes |
| Qwen3-Reranker-8B | 8B | 36 | 32K | Yes |
Qwen 3 LLM-Modell
| Model | Architecture | Parameters (Total / Activated) | Layers | Attention Heads (Q / KV) | Experts (Total / Active) | Context Window (tokens) |
|---|---|---|---|---|---|---|
| Qwen3-235B-A22B | MoE | 235B / 22B | 94 | 64 / 4 | 128 / 8 | 32.768 (131.072 mit YaRN) |
| Qwen3-30B-A3B | MoE | 30.5B / 3.3B | 48 | 32 / 4 | 128 / 8 | 32.768 (131.072 mit YaRN) |
| Qwen3-32B | Dense | 32.8B | 64 | 64 / 8 | - | 32.768 (131.072 mit YaRN) |
| Qwen3-14B | Dense | 14.8B | 40 | 40 / 8 | - | 32.768 (131.072 mit YaRN) |
| Qwen3-8B | Dense | 8.2B | 36 | 32 / 8 | - | 32.768 (131.072 mit YaRN) |
| Qwen3-4B | Dense | 4.0B | 36 | 32 / 8 | - | 32.768 (131.072 mit YaRN) |
| Qwen3-1.7B | Dense | 1.7B | 28 | 16 / 8 | - | 32.768 |
| Qwen3-0.6B | Dense | 0.6B | 28 | 16 / 8 | - | 32.768 |
Warum Entwickler für RAG auf Qwen3 umsteigen?
| Feature | Qwen 3 |
|---|---|
| Langes Kontextfenster | 32.000 Token |
| Mehrere Modellgrößen | 0.6B / 4B / 8B |
| Mehrsprachigkeit | 100+ Sprachen |
| Fortschrittliche Architekturen | Reranker-Modelle nutzen Cross-Encoder-Setup / Embedding-Modelle nutzen Bi-Encoder-Setup |
| Open-Source | Apache-2.0 |
| Anweisungsbewusst | Anweisungsbewusst: Versteht und befolgt spezifische Anweisungen |
Die Leistung der Qwen 3 Modelle
Sie können die Bewertung der Embedding-Modelle auf dieser Bestenliste einsehen!
Wie erhält man Zugriff auf Qwen 3 Modelle?
Novita AI ist eine KI-Cloud-Plattform, die Entwicklern eine einfache Möglichkeit bietet, KI-Modelle über unsere einfache API bereitzustellen und gleichzeitig eine erschwingliche und zuverlässige GPU-Cloud für den Bau und die Skalierung bereitstellt.
Zusätzlich zu Qwen 3 Reranker 8B und Embedding 8B bietet Novita AI auch kostenloses bge-m3 zur Unterstützung der Entwicklung der Open-Source-Community!
Schritt 1: Einloggen und auf die Modellbibliothek zugreifen
Loggen Sie sich in Ihr Konto ein und klicken Sie auf die Schaltfläche Model Library.
Qwen 3 Modelle jetzt ausprobieren!
Schritt 2: Wählen Sie Ihr Modell und starten Sie eine kostenlose Testversion
Durchstöbern Sie die verfügbaren Optionen und wählen Sie das Modell aus, das Ihren Anforderungen entspricht.
Schritt 3: Holen Sie sich Ihren API-Schlüssel
Zur Authentifizierung mit der API stellen wir Ihnen einen neuen API-Schlüssel zur Verfügung. Gehen Sie auf die Seite „Settings“ und kopieren Sie den API-Schlüssel wie im Bild gezeigt.
Schritt 4: Installieren Sie die API (Beispiel: Qwen 3 Reranker-Modell)
Installieren Sie die API mit dem für Ihre Programmiersprache spezifischen Paketmanager.
Importieren Sie nach der Installation die erforderlichen Bibliotheken in Ihre Entwicklungsumgebung. Initialisieren Sie die API mit Ihrem API-Schlüssel, um mit Novita AI Modellen zu interagieren. Dies ist ein Beispiel für die Verwendung der Chat Completions API für Python-Benutzer.
from openai import OpenAI
base_url = "https://api.novita.ai/v3/openai"
api_key = "<Your API Key>"
model = "qwen/qwen3-reranker-8b"
client = OpenAI(
base_url=base_url,
api_key=api_key,
)
stream = True # or False
max_tokens = 1000
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
extra_body={
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
Da KI-Anwendungen ein immer präziseres Verständnis der Benutzerabsicht erfordern, sind Reranking-Modelle zu unverzichtbaren Werkzeugen geworden, um intelligentere Suchergebnisse zu liefern. Als zweite Intelligenzebene nach dem ersten Retrieval verfeinern Reranker die Dokumentenrankings durch tiefere Kontextanalyse. Die Qwen 3 Reranker-Serie setzt in diesem Bereich neue Maßstäbe und bietet beeindruckende Leistung über Sprachen, lange Dokumente und sogar Code-Retrieval-Aufgaben hinweg. Da die Bereitstellung durch Novita AI vereinfacht wird, können Entwickler diese fortschrittlichen Modelle ohne schwere Infrastruktur nutzen – was hochpräzises Retrieval zugänglicher macht als je zuvor.
Häufig gestellte Fragen
Was ist ein Reranker-Modell?
Ein Reranker ordnet eine Liste abgerufener Dokumente neu, indem er deren Relevanz für eine Anfrage bewertet, und verbessert so die Präzision in KI-Suchsystemen.
Wie unterscheidet sich ein Reranker von einem Embedding-Modell?
Embedding-Modell: Wandelt jeden Text in einen Vektor um und vergleicht sie mittels Ähnlichkeit.
Reranker-Modell: Liest sowohl die Anfrage als auch das Dokument gemeinsam und gibt einen intelligenten Relevanzwert aus.
Wie gut ist die Leistung von Qwen 3 Reranker?
Qwen3-Reranker-8B erreicht Spitzenwerte:
MTEB-R: 69,02,
CMTEB-R: 77,45,
MTEB-Code: 81,22
Es übertrifft beliebte Modelle wie BGE und GTE in mehreren Kategorien.
Novita AI ist die All-in-One-Cloud-Plattform, die Ihre KI-Ambitionen beflügelt. Integrierte APIs, Serverless, GPU-Instanz – die kosteneffizienten Tools, die Sie brauchen. Infrastruktur eliminieren, kostenlos starten und Ihre KI-Vision verwirklichen.
