Wichtige Highlights
Multimodal, mehrsprachig, langer Kontext: Gemma 3 27B verarbeitet Text und Bilder, unterstützt über 140 Sprachen und handhabt bis zu 128K Token für lange Eingaben.
Elo-Punktzahl: Erreichte eine Elo-Punktzahl von 1339 und gehört damit zu den Top-10-Modellen weltweit.
Einzel-GPU-Kompatibilität: Liefert Spitzenleistung auf einer einzelnen NVIDIA H100 GPU und übertrifft Wettbewerber, die mehrere GPUs benötigen.
Zugang über Novita AI: Novita AI bietet eine kostengünstige API und eine kostenlose Playground-Umgebung, um die Fähigkeiten von Gemma 3 27B zu erkunden – probieren Sie es jetzt aus!
Am 12. März 2025 veröffentlicht, ist Gemma 3 27B eine bedeutende Erweiterung von Googles Open-Source-Angeboten im Bereich großer Sprachmodelle. Als größtes Modell der Gemma-3-Familie, abgesehen von instruktionsoptimierten Varianten mit spezifischen Funktionen, zielt es darauf ab, eine Balance zwischen Leistung und Zugänglichkeit zu bieten. Dieser Artikel gibt einen praktischen und technischen Überblick über Gemma 3 27B, beschreibt seine Architektur, Fähigkeiten, Leistung in Benchmarks und praktischen Tests, Hardwareanforderungen und Zugangsmethoden.
Was ist Gemma 3 27B?
Bemerkenswerte Funktionen
- Erweiterte Mehrsprachigkeit: Mit seinem neuen Tokenizer ist Gemma 3 in über 140 Sprachen hoch effektiv.
- Multimodale Eingabe: Die Fähigkeit, sowohl Bilder als auch Text zu verarbeiten, macht es zu einem vielseitigen Werkzeug für eine Reihe von Anwendungen.
- Erweitertes Kontextfenster: Die Kapazität von 128K Token ermöglicht die Verarbeitung umfangreicher und detaillierter Eingaben.
- Open Source und gemeinschaftsfreundlich: Als Open-Source-Modell fördert es Experimente in der Community und eine breite Akzeptanz.
Veröffentlichungsdatum, Modellgröße, Open Source
- 12. März 2025
- 27 Milliarden Parameter
Diese Größe positioniert Gemma 3 als ein substanzielles Modell, das komplexe und vielfältige Aufgaben effektiv bewältigen kann. - Offenes Modell: Von Google als Open-Source-Modell veröffentlicht.
Unterstützte Sprachen
-
Unterstützt über 140 Sprachen
- Verfügt über einen neuen Tokenizer, der für eine bessere mehrsprachige Unterstützung ausgelegt ist, was es in globalen Anwendungen sehr vielseitig macht.
Modellarchitektur
- Technologie: Basiert auf derselben Forschung und Technologie, die auch Googles Gemini 2.0 Modelle antreibt.
- Training:
- Trainiert auf 14 Billionen Token unter Verwendung von Google TPUs.
- Nutzte das JAX Framework für effizientes und skalierbares Training.
- Verwendete Techniken:
- Distillation
- Reinforcement Learning (einschließlich RLHF, RLMF, RLEF)
- Modell-Merging
- Diese Techniken verbessern die Leistung des Modells in kritischen Bereichen wie Mathematik, Programmierung und Befolgung von Anweisungen.
Multimodale Fähigkeiten
- Multimodal: Ja
- Verarbeitet sowohl Bilder als auch Text als Eingabe und erzeugt Textausgabe.
- Vision-Encoder: Basiert auf SigLIP.
Kontextfenster
-
128K Token
- Ermöglicht dem Modell die Verarbeitung und das Verständnis großer Informationsmengen für anspruchsvolle Aufgaben.
- Details zum Pre-Training:
- Zunächst mit 32k Sequenzen vortrainiert und später auf 128k skaliert.
- Erreicht durch Anpassungen der positionellen Einbettungen mittels RoPE (Rotary Positional Embeddings).
Quantisierungsgenauigkeit
-
Standard-Trainingsgenauigkeit: bfloat16
- Leistungshinweis: Modelle funktionieren am besten mit bfloat16, die Qualität kann bei anderen Genauigkeiten abnehmen.
-
Quantisierungsoptionen:
- Community-Experimente mit Quantisierungsstufen wie Q8 gguf quant, EXL2 und IQ4_XS zur Optimierung des VRAM-Verbrauchs.
| Genauigkeitsstufe | Nur Gewichte (GB) | Gewichte + KV-Caching (GB) |
|---|---|---|
| bf16 (Roh) | 54.0 | 72.7 |
| INT4 | 14.1 | 32.8 |
| INT4 (blocks=32) | 15.3 | 34.0 |
| SFP8 | 27.4 | 46.1 |
Gemma 3 27B Benchmarks
Chat-Leistung
Gemma 3 27B hat in kürzlichen Bewertungen herausragende Fähigkeiten gezeigt und eine Elo-Punktzahl von 1339 im LMSys Chatbot Arena erreicht. Diese Leistung platziert es unter den Top-10 der besten Modelle, einschließlich führender Closed-Source-Modelle wie o1-preview, und unterstreicht seine Stärke bei Bewertungen menschlicher Präferenzen. Darüber hinaus erreicht Gemma 3 27B diese hohe Punktzahl, während es nur eine einzelne NVIDIA H100 GPU benötigt, im Gegensatz zu Wettbewerbern, die für ähnliche Leistung auf bis zu 32 GPUs angewiesen sind.
Von Hugging Face
Leistung in spezifischen Benchmarks
Die instruktionsoptimierte Version, Gemma 3 27B IT, erzielte über einen Bereich von Bewertungen hinweg konkurrenzfähige Ergebnisse und übertraf oft geschlossene Gemini-Modelle:
| Benchmark | Punktzahl | Beschreibung |
|---|---|---|
| MMLU-Pro | 67,5 | Starke Leistung im Multi-Task-Sprachverständnis. |
| LiveCodeBench | 29,7 | Zeigt moderaten Erfolg bei Live-Programmierherausforderungen. |
| Bird-SQL | 54,4 | Konkurrenzfähige Ergebnisse bei der Generierung und dem Verständnis von SQL-Abfragen. |
| GPQA Diamond | 42,4 | Solide Leistung bei allgemeinen Frage-Antwort-Aufgaben. |
| MATH | 69,0 | Hervorragend im Lösen komplexer mathematischer Probleme. |
| FACTS Grounding | 74,9 | Hervorragende faktische Fundierung und Genauigkeit bei wissensbasierten Aufgaben. |
| MMMU | 64,9 | Starke Leistung bei multimodalen Verständnisaufgaben. |
| SimpleQA | 10,0 | Geringere Leistung bei einfachen faktenbasierten Frage-Antwort-Aufgaben, bietet Raum für Verbesserungen. |
Hardwareanforderungen für Gemma 3 27B
Gemma 3 27B wird als das “leistungsfähigste Modell, das Sie auf einer einzelnen GPU ausführen können” beschrieben!
Von Google
| Setup | VRAM-Anforderung | Anmerkungen |
|---|---|---|
| Cloud-Bereitstellung | Etwa 80 GB VRAM (einzelne/mehrere GPUs) | A100- oder H100-GPUs werden für optimale Cloud-Bereitstellungsleistung empfohlen. Oder RTX 4090 24GB (x3) |
| Apple Silicon | Gemma 3 4B wird über mlx-vlm unterstützt | Gemma 3 4B hat ab dem Veröffentlichungstag Unterstützung in mlx-vlm, einer Open-Source-Bibliothek zum Ausführen von Vision-Language-Modellen auf Apple Silicon Geräten, einschließlich Macs und iPhones. |
Gemma 3 27B Test
Code
Eingabeaufforderung: Erstellen Sie eine JavaScript-Simulation einer rotierenden 3D-Kugel, die aus Buchstaben besteht. Die nächstgelegenen Buchstaben sollten in einer helleren Farbe erscheinen, während die am weitesten entfernten in Grau erscheinen sollen.
Ausgabe: Es scheint, dass das Modell der Eingabeaufforderung nicht vollständig gefolgt ist. Stattdessen wurde ein sich drehender Ring mit Buchstaben erzeugt. Außerdem schlugen die ersten beiden Vorschauen aufgrund unzureichender Helligkeit fehl.
Logisches Denken
Eingabeaufforderung: Sie haben 14 Äpfel. Emma nimmt 3, gibt aber 2 zurück. Sie lassen 7 fallen und heben 4 auf. Leo nimmt 4 und gibt 5. Sie nehmen 1 Apfel von Emma und tauschen ihn mit Leo gegen 3 Äpfel, dann geben Sie diese 3 an Emma, die Ihnen einen Apfel und eine Orange gibt. Zara nimmt Ihnen den Apfel ab und gibt Ihnen eine Birne. Sie tauschen die Birne mit Leo gegen einen Apfel. Später tauscht Zara einen Apfel gegen eine Orange und tauscht ihn mit Ihnen gegen einen weiteren Apfel. Wie viele Birnen haben Sie? Antworten Sie nur auf das, was gefragt wird.
Ausgabe: Innerhalb weniger Sekunden analysierte es effizient alle Szenarien und berechnete genau die Gesamtzahl der Birnen.
Bildanalyse
Eingabeaufforderung: Sagen Sie mir, wie oft die Elo-Punktzahl von Gemma 2 27B auf Gemma 3 27B gestiegen ist?
Von Google
Ausgabe: Die Zahlen wurden korrekt identifiziert, aber die Vielfachen wurden nicht wie in der Eingabeaufforderung angewiesen berechnet; stattdessen wurde nur die Differenz berechnet.
Basierend auf dem Bild hier die Berechnung:
- Gemma 2 27B Elo-Punktzahl: 1220
- Gemma 3 27B Elo-Punktzahl: 1338
Anstieg: 1338 - 1220 = 118
Die Elo-Punktzahl stieg von Gemma 2 27B auf Gemma 3 27B um 118 Punkte.
Wie erhalte ich Zugang zu Gemma 3 27B?
Novita AI ist eine KI-Cloud-Plattform, die Entwicklern eine einfache Möglichkeit bietet, KI-Modelle über unsere einfache API bereitzustellen und gleichzeitig eine erschwingliche und zuverlässige GPU-Cloud zum Aufbau und zur Skalierung bereitstellt.
Schritt 1: Einloggen und auf die Modellbibliothek zugreifen
Loggen Sie sich in Ihr Konto ein und klicken Sie auf die Schaltfläche Modellbibliothek.
Jetzt Gemma 3 27B Demo testen!
Schritt 2: Kostenlose Testversion starten
Starten Sie Ihre kostenlose Testversion, um die Fähigkeiten des ausgewählten Modells zu erkunden.
Schritt 3: Ihren API-Schlüssel abrufen
Um sich bei der API zu authentifizieren, stellen wir Ihnen einen neuen API-Schlüssel zur Verfügung. Rufen Sie die Seite „Einstellungen“ auf und kopieren Sie den API-Schlüssel wie im Bild gezeigt.
Schritt 4: Die API installieren
Installieren Sie die API mit dem für Ihre Programmiersprache spezifischen Paketmanager.
Importieren Sie nach der Installation die erforderlichen Bibliotheken in Ihre Entwicklungsumgebung. Initialisieren Sie die API mit Ihrem API-Schlüssel, um mit Novita AI LLM zu interagieren. Dies ist ein Beispiel für die Verwendung der Chat Completions API für Python-Benutzer.
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<YOUR Novita AI API Key>",
)
model = "google/gemma-3-27b-it"
stream = True # or False
max_tokens = 2048
system_content = """Be a helpful assistant"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
Gemma 3 27B ist ein leistungsstarkes Open-Source-Modell von Google, das starke logische Fähigkeiten, multimodale Funktionen, mehrsprachige Unterstützung und eine einfache Integration mit Plattformen wie Hugging Face bietet, und das alles auf verbrauchertauglicher Hardware läuft.
Häufig gestellte Fragen
Wie viele Parameter hat Gemma 3 27B?
Gemma 3 27B hat 27 Milliarden Parameter.
Ist Gemma 3 27B multimodal?
Ja, es unterstützt sowohl Bild- als auch Texteingaben.
Welche Hardware wird für die Ausführung von Gemma 3 27B empfohlen?
Für den lokalen Gebrauch wird eine GPU mit mindestens 24 GB VRAM empfohlen, wobei mehr VRAM für größere Kontextgrößen von Vorteil ist. Es kann auch auf Cloud-Plattformen wie Hugging Face Inference Endpoints mit verschiedenen GPU-Optionen bereitgestellt werden. Oder Sie wählen eine effektive API wie Novita AI, um sie zu nutzen!
Novita AI ist eine KI-Cloud-Plattform, die Entwicklern eine einfache Möglichkeit bietet, KI-Modelle über unsere einfache API bereitzustellen, und gleichzeitig eine erschwingliche und zuverlässige GPU-Cloud zum Aufbau und zur Skalierung bereitstellt.
