Die wichtigsten Highlights
10M Token-Kontext: Deutlich größer als bei den meisten Modellen.
Multimodale Unterstützung: Verarbeitet sowohl Text als auch Bilder als Eingabe.
Mehrsprachigkeit: Unterstützt 12 Sprachen und ermöglicht globale Anwendungen.
Open Source: Kostenlos nutzbar und anpassbar.
Erleben Sie den Komfort eines kostenlosen Testzeitraums mit der Novita AI API – schnell, einfach und unkompliziert!
Llama 4 Scout zeichnet sich durch einen Kontext von 10 Millionen Token aus, was es von den meisten KI-Modellen mit begrenzten Kontextfenstern abhebt. Diese hohe Kapazität macht es ideal für die Bearbeitung umfangreicher Aufgaben wie die Analyse langer Dokumente, multilinguale Synthese oder die Verarbeitung multimodaler Eingaben.
Was ist Llama 4 Scout?
https://www.youtube.com/watch?v=MwHol73Cw\_I
Llama 4 Scout Übersicht
| Eigenschaft | Wert |
|---|---|
| Veröffentlichungsdatum | 5. April 2025 |
| Modellgröße | 109B Parameter (17B aktiv/Token) |
| Open Source | offen |
| Architektur | 16 Mixture-of-Experts (MoE) |
| Kontext | 10M (10000k) |
| Unterstützte Sprachen | Arabisch, Englisch, Französisch, Deutsch, Hindi, Indonesisch, Italienisch, Portugiesisch, Spanisch, Tagalog, Thailändisch und Vietnamesisch |
| Multimodal | Eingabe: Mehrsprachiger Text und Bilder Ausgabe: Mehrsprachiger Text und Code |
| Trainingsdaten | ~40 Billionen Token |
| Vor-Training | MetaP (Adaptive Expert Configuration + Mid-Training) |
| Nach-Training | SFT (Easy Data) → RL (Hard Data) → DPO |
| Tensor-Typ | BF16 |
Llama 4 Scout Benchmark
Von Meta
Wie kann man Llama 4 Scout lokal nutzen?
Llama 4 Scout Hardware-Anforderungen
| Kontextlänge | Int4 VRAM | GPU-Bedarf (Int4) | FP16 VRAM | GPU-Bedarf (FP16) |
|---|---|---|---|---|
| 4K Token | ~99,5 GB / ~76,2 GB | 1xH100 | ~345 GB | 8×H100 |
| 128K Token | ~334 GB | 8×H100 | ~579 GB | 8×H100 |
| 10M Token | ~18,8 TB (dominiert durch KV-Cache) | 240×H100 | Gleich wie INT4 (KV-Dominanz) | 240×H100 |
Obwohl beworben wird, dass LLaMA 4 Scout auf einer einzelnen H100 laufen kann, ist dies nur mit Quantisierung, kürzeren Kontextlängen, kleineren Batch-Größen und einem effizienten Inferenz-Framework machbar.
Llama 4 Scout lokal installieren
Schritt 1: Umgebung vorbereiten
- Python installieren: Stellen Sie sicher, dass auf Ihrem System eine geeignete Python-Version installiert ist (erforderlich für Llama 4).
- GPU einrichten: Überprüfen Sie, ob Ihr System über eine leistungsstarke GPU verfügt, die das Modell ausführen kann.
- Python-Umgebung erstellen: Verwenden Sie Tools wie
condaodervenv, um Abhängigkeiten zu verwalten.
Schritt 2: Modell beziehen
- Website besuchen: Gehen Sie zu www.llama.com.
- Modell auswählen: Laden Sie Llama 4 Scout herunter.
Schritt 3: Abhängigkeiten installieren
Führen Sie den folgenden Befehl aus, um die erforderlichen Python-Pakete zu installieren:
pip install llama-stack
Schritt 4: Modell verifizieren
Listen Sie alle verfügbaren Modelle auf und suchen Sie die Modell-ID für Llama 4 Scout:
llama model list
Schritt 5: Modell herunterladen und ausführen
- Modell-ID angeben: Geben Sie die korrekte Modell-ID und Download-URL ein.
- URL-Ablauf prüfen: Der Download-Link ist in der Regel nur 48 Stunden gültig; Sie müssen ihn möglicherweise erneut herunterladen.
Sobald diese Schritte abgeschlossen sind, können Sie Llama 4 Scout ausführen!
Wie kann man Llama 4 Scout über die Novita API nutzen?
Schritt 1: Anmelden und auf die Modellbibliothek zugreifen
Melden Sie sich in Ihrem Konto an und klicken Sie auf die Schaltfläche Modellbibliothek.
Jetzt Llama 4 Scout ausprobieren!
Schritt 2: Modell auswählen
Durchsuchen Sie die verfügbaren Optionen und wählen Sie das Modell aus, das Ihren Anforderungen entspricht.
Schritt 3: Kostenlosen Testzeitraum starten
Starten Sie Ihren kostenlosen Testzeitraum, um die Fähigkeiten des ausgewählten Modells zu erkunden.
Schritt 4: API-Schlüssel erhalten
Zur Authentifizierung mit der API stellen wir Ihnen einen neuen API-Schlüssel zur Verfügung. Gehen Sie auf die Seite „Einstellungen“ und kopieren Sie den API-Schlüssel wie im Bild gezeigt.
Schritt 5: API installieren
Installieren Sie die API mit dem Paketmanager, der für Ihre Programmiersprache spezifisch ist.
Importieren Sie nach der Installation die erforderlichen Bibliotheken in Ihre Entwicklungsumgebung. Initialisieren Sie die API mit Ihrem API-Schlüssel, um mit Novita AI LLM zu interagieren. Dies ist ein Beispiel für die Verwendung der Chat Completions API für Python-Nutzer.
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<YOUR Novita AI API Key>",
)
model = "meta-llama/llama-4-scout-17b-16e-instruct"
stream = True # or False
max_tokens = 2048
system_content = """Be a helpful assistant"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
Llama 4 Scout über Cloud-GPU nutzen
Schritt 1: Konto erstellen
Wenn Sie neu bei Novita AI sind, erstellen Sie zunächst ein Konto auf unserer Website. Gehen Sie nach der Registrierung zum Tab „GPUs“, um verfügbare Ressourcen zu erkunden und Ihre Reise zu beginnen.
Schritt 2: Vorlagen und GPU-Server erkunden
Wählen Sie zunächst eine Vorlage aus, die zu Ihren Projektanforderungen passt, z. B. PyTorch, TensorFlow oder CUDA. Wählen Sie die Version, die Ihren Anforderungen entspricht, z. B. PyTorch 2.2.1 oder CUDA 11.8.0. Wählen Sie dann die GPU-Serverkonfiguration A100 aus, die eine leistungsstarke Performance bietet, um anspruchsvolle Workloads mit ausreichend VRAM, RAM und Speicherkapazität zu bewältigen.
Novita AIs leistungsstarke GPUs ausprobieren
Schritt 3: Deployment anpassen
Passen Sie nach der Auswahl einer Vorlage und GPU Ihre Deployment-Einstellungen an, indem Sie Parameter wie die Betriebssystemversion (z. B. CUDA 11.8) ändern. Sie können auch andere Konfigurationen anpassen, um die Umgebung an die spezifischen Anforderungen Ihres Projekts anzupassen.
Schritt 4: Instanz starten
Klicken Sie nach Abschluss der Vorlagen- und Deployment-Einstellungen auf „Instanz starten“, um Ihre GPU-Instanz einzurichten. Dadurch wird die Umgebungseinrichtung gestartet, sodass Sie die GPU-Ressourcen für Ihre KI-Aufgaben nutzen können.
Llama 4 Scouts beispiellose Kontextlänge und multimodale Fähigkeiten machen es zu einem revolutionären Werkzeug für langformatige, mehrsprachige und umfangreiche Aufgaben. Seine Skalierbarkeit und sein Open-Source-Charakter bieten Flexibilität für Entwickler und Forscher.
Häufig gestellte Fragen
Was macht Llama 4 Scout einzigartig?
10M Token-Kontext: Deutlich größer als bei den meisten Modellen.
Multimodale Unterstützung: Verarbeitet sowohl Text als auch Bilder als Eingabe.
Mehrsprachigkeit: Unterstützt 12 Sprachen und ermöglicht globale Anwendungen.
Open Source: Kostenlos nutzbar und anpassbar.
Kann ich Llama 4 Scout ohne High-End-GPU nutzen?
Ja, aber nur für kleinere Kontexte (z. B. 4K Token) durch Quantisierung des Modells. Volle 10M-Token-Kontexte erfordern aufgrund des Speicherbedarfs, insbesondere für den KV-Cache, mindestens 240×H100 GPUs. Oder Sie wählen Novita AI per API!
Welche Hardware wird für Llama 4 Scout empfohlen?
Kleine Kontexte (4K Token): 1×H100 GPU
Große Kontexte (128K Token): 8×H100 GPUs
Volle Kontexte (10M Token): 240×H100 GPUs
Novita AI ist eine KI-Cloud-Plattform, die Entwicklern eine einfache Möglichkeit bietet, KI-Modelle über unsere einfache API bereitzustellen, und gleichzeitig eine erschwingliche und zuverlässige GPU-Cloud zum Aufbau und zur Skalierung bereitstellt.
