Wichtige Highlights
Gemma 3 27B ist ein quelloffenes multimodales LLM, das von Google im März 2025 veröffentlicht wurde.
Unterstützt 140+ Sprachen mit einem neuen Tokenizer und 128K Kontextfenster.
Verarbeitet sowohl Text als auch Bilder als Eingabe, Ausgabe ist Text.
Trainiert mit 14 Billionen Tokens, ausgezeichnet in Mathematik, Code und Befehlsausführung.
Benchmark-Werte: 1339 Elo, 69.0 (MATH), 67.5 (MMLU-Pro).
Kann auf einer einzelnen NVIDIA H100 ausgeführt werden oder über Ollama (lokal) oder die Novita AI API / Cloud-GPU bereitgestellt werden.
Gemma 3 27B ist ein leistungsstarkes, flexibles LLM von Google. Es vereint multilinguale Reichweite, multimodale Eingabe und hohe Leistung und eignet sich ideal für vielfältige KI-Workloads – lokal oder in der Cloud.
Was ist Gemma 3 27B?
Bemerkenswerte Funktionen
- Erweiterte Mehrsprachigkeit: Mit seinem neuen Tokenizer ist Gemma 3 in über 140 Sprachen äußerst effektiv.
- Multimodale Eingabe: Die Fähigkeit, sowohl Bilder als auch Text zu verarbeiten, macht es zu einem vielseitigen Werkzeug für eine Reihe von Anwendungen.
- Erweitertes Kontextfenster: Die Kapazität von 128K Tokens ermöglicht die Verarbeitung umfangreicher und detaillierter Eingaben.
- Open Source und Community-freundlich: Als Open-Source-Modell fördert es Experimente in der Community und eine breite Akzeptanz.
| Kategorie | Element | Details |
|---|---|---|
| Basisinfo | Veröffentlichungsdatum | 12. März 2025 |
| Modellgröße | 27 Milliarden Parameter | |
| Open Source | Ja (von Google veröffentlicht) | |
| Sprachunterstützung | Unterstützte Mehrsprachigkeit | Über 140 Sprachen |
| Training | Trainingsdaten | 14 Billionen Tokens |
| Stärken | Mathematik, Programmierung, Befehlsausführung | |
| Multimodal | Multimodale Fähigkeit | Ja (verarbeitet Bilder und Text, gibt Text aus) |
| Kontext | Kontextfenster | 128K Tokens |
| Modellgröße nach Präzision | bf16 (Roh) | Gewichte: 54,0 GB; Gewichte + KV-Cache: 72,7 GB |
| INT4 | Gewichte: 14,1 GB; Gewichte + KV-Cache: 32,8 GB | |
| INT4 (blocks=32) | Gewichte: 15,3 GB; Gewichte + KV-Cache: 34,0 GB | |
| SFP8 | Gewichte: 27,4 GB; Gewichte + KV-Cache: 46,1 GB |
Gemma 3 27B Benchmark
| Benchmark | Gemma 3 27B | DeepSeek R1 | LLaMA 3.3 70B |
|---|---|---|---|
| LMSys Elo Score | 1339 | ~1360 | ~1260 |
| MMLU-Pro | 67,5 | 84,0 | 66,4 |
| LiveCodeBench | 29,7 | 65,9 | ~29 |
| GPQA Diamond | 42,4 | 71,5 | 50,5 |
| MATH | 69,0 | 97,3 | 77,0 |
Wie greife ich lokal auf Gemma 3 27B zu?
Hardware-Anforderungen
Gemma 3 27B wird als das “leistungsfähigste Modell, das Sie auf einer einzelnen GPU ausführen können” beschrieben!
Von Google
| Setup | VRAM-Anforderung | Anmerkungen |
|---|---|---|
| Cloud-Bereitstellung | Etwa 80 GB VRAM (Einzel-/Multi-GPU) | GPUs wie A100 oder H100 werden für eine optimale Cloud-Bereitstellungsleistung empfohlen. Oder RTX 4090 24 GB (x3) |
| Apple Silicon | Gemma 3 4B wird über mlx-vlm unterstützt | Gemma 3 4B wird ab Tag null in mlx-vlm unterstützt, einer Open-Source-Bibliothek zur Ausführung von Vision-Language-Modellen auf Apple Silicon-Geräten, einschließlich Macs und iPhones. |
Schritt-für-Schritt-Anleitung zur lokalen Installation von Gemma 3 27B
# Schritt 0: NVIDIA GPU überprüfen
nvidia-smi
# Schritt 1: Ubuntu-Paketquellen aktualisieren
apt update
# Schritt 2: Ollama-Abhängigkeiten für GPU-Erkennung installieren
apt install pciutils lshw
# Schritt 3: Ollama installieren
curl -fsSL https://ollama.com/install.sh | sh
# Schritt 4: Ollama-Server starten (in einem Terminal ausführen und offen lassen)
ollama serve
# Schritt 5: (In einem neuen Terminal) Prüfen, ob Ollama funktioniert
ollama
# Schritt 6: Gemma-3-Modelle installieren (eines auswählen)
# Gemma-3 1B ausführen
# ollama run gemma3:1b
# Gemma-3 4B ausführen
# ollama run gemma3:4b
# Gemma-3 12B ausführen
# ollama run gemma3:12b
# ✅ Empfohlen: Gemma-3 27B ausführen
ollama run gemma3:27b
# Schritt 7: Direkt über die Eingabeaufforderung mit dem Modell interagieren
# Beispiel:
# Sie sind ein KI-gestützter Handelsanalyst mit Spezialisierung auf Kryptowährungsmärkte.
# Ihre Aufgabe ist es, einen autonomen KI-Agenten zu entwerfen, der Markttrends vorhersagen,
# Trades ausführen und Risiken effizient managen kann. Ihre Antwort sollte Folgendes enthalten:
# - Eine Strategie zur Analyse von On-Chain- + Off-Chain-Daten
# - Modellauswahl für Preisvorhersage und Stimmung
# - Ein Python-Codeausschnitt
# - Risikomanagementmethoden
# - Ethische Bedenken
Wie greife ich über die Novita API auf Gemma 3 27B zu?
Schritt 1: Anmelden und auf die Modellbibliothek zugreifen
Melden Sie sich in Ihrem Konto an und klicken Sie auf die Schaltfläche Modellbibliothek.
Jetzt Gemma 3 27B Demo testen!
Schritt 2: Kostenlose Testphase starten
Starten Sie Ihre kostenlose Testphase, um die Fähigkeiten des ausgewählten Modells zu erkunden.
Schritt 3: API-Schlüssel abrufen
Zur Authentifizierung mit der API stellen wir Ihnen einen neuen API-Schlüssel zur Verfügung. Rufen Sie die Seite „Einstellungen“ auf und kopieren Sie den API-Schlüssel wie im Bild gezeigt.
Schritt 4: API installieren
Installieren Sie die API mit dem für Ihre Programmiersprache spezifischen Paketmanager.
Nach der Installation importieren Sie die erforderlichen Bibliotheken in Ihre Entwicklungsumgebung. Initialisieren Sie die API mit Ihrem API-Schlüssel, um mit Novita AI LLM zu interagieren. Dies ist ein Beispiel für die Verwendung der Chat Completions API für Python-Benutzer.
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<IHR Novita AI API-Schlüssel>",
)
model = "google/gemma-3-27b-it"
stream = True # oder False
max_tokens = 2048
system_content = """Seien Sie ein hilfreicher Assistent"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hallo!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
Verwendung von Gemma 3 27B über Chatbox
Schritt 1: Chatbox installieren
- Wählen Sie die Option „Einstellungen“. Diese Einstellung stellt die Kompatibilität mit APIs sicher, die dem OpenAI-API-Standard folgen, wie Novita AI.
- Füllen Sie die Konfigurationsfelder aus:
- Basis-URL: Geben Sie
https://api.novita.ai/v3/openaiein. - API-Schlüssel: Fügen Sie hier Ihren Novita AI API-Schlüssel ein.
- Modellname: Fügen Sie den zuvor kopierten Modellnamen ein (z. B.
google/gemma-3-27b-it).
- Basis-URL: Geben Sie
- Sobald die Konfiguration ausgefüllt ist, klicken Sie auf Fertig.
Verwendung von Gemma 3 27B über Cloud-GPU
Schritt 1: Ein Konto registrieren
Wenn Sie neu bei Novita AI sind, erstellen Sie zunächst ein Konto auf unserer Website. Nach der Registrierung gehen Sie zum Tab „GPUs“, um verfügbare Ressourcen zu erkunden und Ihre Reise zu beginnen.
Schritt 2: Vorlagen und GPU-Server erkunden
Wählen Sie zunächst eine Vorlage aus, die Ihren Projektanforderungen entspricht, z. B. PyTorch, TensorFlow oder CUDA. Wählen Sie die Version, die Ihren Anforderungen entspricht, wie PyTorch 2.2.1 oder CUDA 11.8.0. Wählen Sie dann die A100 GPU-Serverkonfiguration, die mit ausreichend VRAM, RAM und Speicherkapazität eine leistungsstarke Leistung für anspruchsvolle Workloads bietet.
Testen Sie die leistungsstarken GPUs von Novita AI
Schritt 3: Ihre Bereitstellung anpassen
Nachdem Sie eine Vorlage und GPU ausgewählt haben, passen Sie Ihre Bereitstellungseinstellungen an, indem Sie Parameter wie die Betriebssystemversion (z. B. CUDA 11.8) anpassen. Sie können auch andere Konfigurationen anpassen, um die Umgebung an die spezifischen Anforderungen Ihres Projekts anzupassen.
Schritt 4: Eine Instanz starten
Sobald Sie die Vorlage und die Bereitstellungseinstellungen festgelegt haben, klicken Sie auf „Instanz starten“, um Ihre GPU-Instanz einzurichten. Dadurch wird die Umgebungseinrichtung gestartet und Sie können die GPU-Ressourcen für Ihre KI-Aufgaben nutzen.
Mit starken Benchmarks und einfachen Bereitstellungsoptionen ist Gemma 3 27B eine erstklassige Wahl für Entwickler und Forscher, die offene, hochwertige KI-Tools suchen.
Häufig gestellte Fragen
Was ist Gemma 3 27B?
Gemma 3 27B ist ein quelloffenes Large Language Model mit 27 Milliarden Parametern, das von Google entwickelt wurde. Es unterstützt multimodale Eingaben (Text + Bild), über 140 Sprachen und verfügt über ein Kontextfenster von 128K Tokens.
Welche Hardwareanforderungen gelten für die lokale Ausführung von Gemma 3 27B?
Sie benötigen etwa 80 GB VRAM. Eine einzelne NVIDIA H100 ist ausreichend. Sie können es auch mit mehreren RTX 4090 (z. B. 3×24 GB) ausführen.
Gibt es eine API-Version von Gemma 3 27B?
Ja! Sie können auf Gemma 3 27B über die Novita AI API zugreifen, die vollständig mit dem OpenAI-API-Standard kompatibel ist.
Novita AI ist eine KI-Cloud-Plattform, die Entwicklern eine einfache Möglichkeit bietet, KI-Modelle über unsere einfache API bereitzustellen, und gleichzeitig eine erschwingliche und zuverlässige GPU-Cloud zum Aufbau und zur Skalierung bereitstellt.
Empfohlene Lektüre
- Warum die VRAM-Anforderungen von LLaMA 3.3 70B eine Herausforderung für Heimserver darstellen
- Qwen 2.5 72b vs. Llama 3.3 70b: Welches Modell passt zu Ihren Anforderungen?
- Qwen 2.5 vs. Llama 3.2 90B: Eine vergleichende Analyse der Code- und Bildverarbeitungsfähigkeiten
Einfache APIs und skalierbare GPU
Novita AI ist eine KI-Cloud-Plattform, die Entwicklern eine einfache Möglichkeit bietet, KI-Modelle über unsere einfache API bereitzustellen, und gleichzeitig eine erschwingliche und zuverlässige GPU-Cloud zum Aufbau und zur Skalierung bereitstellt.
