Das beste Open-Source-LLM für dein Projekt im August 2026 hängt von der Aufgabe ab, nicht von der Benchmark-Überschrift. Zu den aktuellen Optionen gehören DeepSeek V4 Pro, Qwen3.6, Kimi K2.6 und GLM-5.1, die jeweils unterschiedliche Stärken in den Bereichen Reasoning, Coding, Long-Context-Arbeit und Lizenzierung aufweisen. Die praktische Frage ist, ob du herunterladbare Gewichte oder eine gehostete API benötigst, die ohne ein GPU-Operations-Team funktioniert. Dieser Leitfaden vergleicht das aktuelle Feld, erklärt Self-Hosting versus API-Zugriff und zeigt, wie man Open-Weight-Modelle in einem Coding Agent mit Novita AI einsetzt.
Was gilt als Open-Source-LLM?
„Open Source“ umfasst in der Praxis ein breites Spektrum. Die betrieblich wichtigste Unterscheidung ist, ob du die Modellgewichte selbst ausführen kannst, nicht ob der Trainingscode öffentlich ist. Die häufigsten Fälle sind:
- Vollständig offene Gewichte mit permissiver Lizenz (Apache 2.0, MIT): Du kannst das Modell kommerziell nutzen, modifizieren und bereitstellen, vorbehaltlich der Lizenzbedingungen. Beispiele: Qwen3.6 (Apache 2.0), DeepSeek R1 (MIT) und GLM-5.1 (MIT).
- Offene Gewichte mit benutzerdefinierter Lizenz: Die Gewichte sind herunterladbar, aber die kommerzielle Nutzung, Weiterverteilung oder das Feintuning können Einschränkungen unterliegen. Metas Llama 4 verwendet eine benutzerdefinierte Lizenz mit Benutzerzahl-Schwellenwerten über 700 Millionen monatlichen Nutzern.
- Nur für Forschung oder gesperrte Gewichte: Die Gewichte sind verfügbar, aber auf nicht-kommerzielle Nutzung beschränkt oder erfordern eine Genehmigung. Weniger relevant für Produktionsteams.
Für die meisten Produktionsentscheidungen lautet der praktische Filter: Darfst du dieses Modell legal für deine Benutzer bereitstellen, und erlaubt die Lizenz den von dir benötigten kommerziellen Anwendungsfall?
Die besten Open-Source-LLMs im Jahr 2026
Die Open-Weight-Stufe hat sich deutlich verdichtet. Diese Liste wurde am 24. August 2026 aktualisiert, um neuere Qwen-, Kimi- und GLM-Versionen aufzunehmen. Kimi K2.6 bleibt das hier behandelte herunterladbare Kimi-Modell.
Allgemein und Reasoning
DeepSeek V4 Pro (685B, MIT-ähnlich) ist der aktuelle Benchmark-Leader für agentisches Coding. Er erreicht oder übertrifft geschlossene Frontier-Modelle bei SWE-Bench und Funktionsaufruf-Benchmarks, was ihn zu einer praktischen Wahl für Coding Agents macht, die große Codebasen lesen und mehrschrittige Tool-Aufrufe ausführen müssen. Er ist als gehostete API verfügbar, wenn du nicht über die Infrastruktur verfügst, um ein 685B-Modell selbst zu betreiben.
Qwen3.6 erweitert die Open-Weight-Qwen-Familie um dichte und sparse MoE-Varianten, multimodale Eingabe und ein natives Kontextfenster von 262K. Die Apache-2.0-Lizenz hält es für den kommerziellen Einsatz praktikabel, während die Bandbreite an Modellgrößen Teams mehr Spielraum gibt, um Qualität gegen Bereitstellungskosten abzuwägen.
Kimi K2.6 ist Moonshot AIs Open-Weight-Modell mit 1 Billion Parametern (MoE), 32B aktiven Parametern und einem 256K-Kontextfenster. Es ist für langfristiges agentisches Coding, Tool-Nutzung und Multi-Agent-Koordination konzipiert und über eine gehostete API zugänglich, falls du das vollständige Modell nicht selbst betreiben möchtest.
DeepSeek R1 (685B, MIT) bleibt die stärkste Wahl für Mathematik und formales Reasoning – 79,8% bei AIME. Wenn deine Anwendung Code-Verifikation, formale Beweise oder strukturierte Reasoning-Ketten beinhaltet, ist R1 der Benchmark-Referenzpunkt.
GLM-5.1 ist Z.ais MIT-lizenziertes Update von GLM-5 mit 40B aktiven Parametern und einem 204,8K-Kontextfenster. Sein Hauptanwendungsgebiet ist langfristige agentische Arbeit, bei der ein Modell kontinuierlich iterieren, Ergebnisse überprüfen und die Strategie ändern muss, anstatt nach einem kurzen Coding-Durchlauf anzuhalten.
Coding-spezifisch
Qwen 2.5 Coder 32B (Apache 2.0) erreicht 92% bei HumanEval und läuft auf einer einzelnen RTX 4090. Wenn du ein Coding-Modell benötigst, das du auf Consumer-Hardware selbst hosten kannst, ist dies die praktische Wahl.
Kimi K2.6 ist auch die aktuelle Coding-fokussierte Kimi-Wahl. Sein Long-Context- und Long-Horizon-Design macht es für anhaltende Repository-Arbeit, Tool-intensive Workflows und autonomes Debugging relevanter als die frühere Kimi K2 Code-Variante.
Wenn du die Agent-Laufzeitumgebung für diese Modelle auswählst, vergleiche Open Source Coding Agents: Best Tools and How to Build One mit What Are Coding Agents?.
Klein und effizient
Phi-4 14B von Microsoft läuft in 8 GB VRAM und bewältigt Anweisungsbefolgung, Code und leichtes Reasoning gut. Verwende es, wenn Latenz- und Hardware-Einschränkungen wichtiger sind als die Spitzenqualität.
Llama 4 Scout von Meta unterstützt bis zu 10 Millionen Token Kontext und passt in 16 GB VRAM. Die richtige Wahl, wenn dein Arbeitspensum die Verarbeitung langer Dokumente umfasst.
Modellvergleich auf einen Blick
| Modell | Größe | Lizenz | Am besten geeignet für | Kontext |
|---|---|---|---|---|
| DeepSeek V4 Pro | 685B | MIT-ähnlich | Agentisches Coding, SWE-Bench | 1M |
| Qwen3.6 | Dichte und MoE-Varianten | Apache 2.0 | Multimodales Reasoning, kommerzielle Nutzung | 262K |
| Kimi K2.6 | 1T MoE, 32B aktiv | Modifiziertes MIT | Agentisches Coding, Tool-Nutzung | 256K |
| DeepSeek R1 | 685B | MIT | Mathematik, formales Reasoning | 163K |
| GLM-5.1 | MoE, 40B aktiv | MIT | Langfristige agentische Arbeit | 204,8K |
| Qwen 2.5 Coder 32B | 32B | Apache 2.0 | Code, selbst gehostet | 128K |
| Phi-4 14B | 14B | MIT | Niedriger VRAM, Entwicklungsnutzung | 128K |
| Llama 4 Scout | ~109B | Benutzerdefiniert | Langkontext-Dokumente | 10M |
Self-Hosting vs. gehostete API-Inferenz
Dies ist die operative Entscheidung, die deine tatsächlichen Kosten und deinen Zeitaufwand bestimmt. Die Kurzfassung: Die gehostete API-Inferenz ist günstiger und schneller zu betreiben, es sei denn, du bewegst dich über grob 2–5 Millionen Token pro Tag mit anhaltendem Traffic über einen Zeitraum von 12 Monaten.
Wann gehostete API-Inferenz gewinnt
- Dein Team hat keine Erfahrung mit GPU-Operationen
- Du befindest dich noch in der Prototyping-Phase oder iterierst an der Modellauswahl
- Dein Token-Volumen liegt unterhalb der Gewinnschwelle für Self-Hosting
- Du musst Modelle schnell wechseln können, sobald neue Versionen erscheinen
- Zuverlässigkeit und automatische Skalierung sind wichtiger als Kostenoptimierung
Eine gehostete LLM-API, insbesondere eine, die OpenAI-kompatibel ist, ermöglicht es dir, ein neues Modell mit einer einzeiligen Änderung deiner Basis-URL und Modell-ID hinzuzufügen. Du vermeidest Cold-Start-Management, Quantisierungs-Kompromisse, Batch-Konfiguration und Serving-Framework-Upgrades.
Wann Self-Hosting gewinnt
- Deine Daten dürfen deine Infrastruktur nicht verlassen (Gesundheitswesen, Finanzen, Recht, regulierte Branchen)
- Du verarbeitest mehr als 5 Millionen Token pro Tag mit vorhersagbarem Traffic
- Du musst einen feinabgestimmten oder angepassten Checkpoint bereitstellen, den kein gehosteter Anbieter anbietet
- Du verfügst über einen bestehenden GPU-Cluster mit freier Kapazität
Self-Hosting auf H100s mit SGLang oder vLLM ist im großen Maßstab wirklich kosteneffizient. Aktuelle Benchmarks zeigen, dass SGLang bei Standard-Workloads einen 29% höheren Durchsatz als vLLM hat und bei prefix-intensiven RAG-Pipelines dank RadixAttention bis zu 6x schneller ist. Diese Gewinne sind jedoch nur dann relevant, wenn du über die operative Kapazität verfügst, den Serving-Stack durch Modell-Updates, Hardware-Ausfälle und Traffic-Spitzen hinweg zu warten.
Der hybride Weg
Die meisten Teams landen bei einem hybriden Ansatz: gehostete API für Prototyping und flexiblen Modellzugriff, GPU-Instanzen für Workloads, die dedizierte Kapazität rechtfertigen. Der praktische Vorteil, auf einer einzigen AI-Cloud-Plattform zu bleiben, besteht darin, dass du Auth, Abrechnung, Observability und Bereitstellungs-Pipelines nicht neu aufbauen musst, wenn du von einer serverlosen API zu einem dedizierten Endpunkt zu einer benutzerdefinierten GPU-Instanz wechselst.
So greifst du über die API auf Open-Source-LLMs zu
Novita AI bietet OpenAI-kompatiblen API-Zugriff auf einen Katalog von Open-Source-Modellen, darunter DeepSeek V4 Pro, DeepSeek V4 Flash, Kimi K2.6, Qwen3.6, GLM-5.1, MiniMax M3 und andere. Die Endpunkt-Struktur ist dieselbe wie bei OpenAI, sodass bestehender Code, der das openai SDK verwendet, mit minimalen Änderungen eine Verbindung zu Novita-Modellen herstellen kann.
Grundlegender API-Aufruf
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="DEIN_NOVITA_API_SCHLÜSSEL",
)
response = client.chat.completions.create(
model="deepseek/deepseek-v4-pro",
messages=[
{"role": "system", "content": "Du bist ein hilfreicher Assistent."},
{"role": "user", "content": "Erkläre den Unterschied zwischen DeepSeek R1 und V4 Pro."},
],
)
print(response.choices[0].message.content)
Um das Modell zu wechseln, ändere den Parameter model. Es sind keine weiteren Änderungen erforderlich. Eine vollständige Liste der unterstützten Modell-IDs findest du unter novita.ai/docs/model-api/reference/llm/models.html.
TypeScript
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.novita.ai/v3/openai",
apiKey: process.env.NOVITA_API_KEY,
});
const response = await client.chat.completions.create({
model: "qwen/qwen3.5-397b-a17b",
messages: [{ role: "user", content: "Schreibe eine Python-Funktion zum Parsen von JSON." }],
});
console.log(response.choices[0].message.content);
Preisreferenz
Die Preise variieren je nach Modell und werden pro Million Token berechnet. DeepSeek V4 Flash mit 0,14 $/Mt Input und 0,28 $/Mt Output ist die kosteneffizienteste Allzweck-Option. DeepSeek V4 Pro mit 1,60 $/Mt Input und 3,20 $/Mt Output ist die Premium-Wahl für agentische und Coding-Workflows, bei denen die Modellqualität die Aufgabenerledigungsrate direkt beeinflusst. Aktuelle Preise findest du unter novita.ai/models/llm, da sich diese mit neuen Modellhinzufügungen ändern.
Open-Source-LLMs für Coding Agents
Die effektivsten Coding-Agent-Setups im Jahr 2026 kombinieren ein Open-Source-LLM für Reasoning und Code-Generierung mit einer sandboxierten Ausführungsumgebung zum Ausführen des Codes. Dies ist eine andere Architektur als ein einfacher API-Aufruf: Der Agent muss Dateien lesen, Code schreiben, Befehle ausführen, die Ausgabe überprüfen und iterieren.
Die beiden zu vermeidenden Fehlermodi sind:
- Das Ausführen von Agent-generiertem Code auf deinem Entwicklungsrechner oder Produktionsserver – ein Fehler, wenn das Modell etwas Destruktives oder Unerwartetes generiert
- Das selbstständige Einrichten einer vollständigen VM pro Agent-Sitzung – schnell ausgewachsen, langsam zu skalieren
Novita Agent Sandbox
Die Agent Sandbox von Novita bietet isolierte Linux-Umgebungen, die in unter 200 ms starten. Jede Sandbox hat ein Dateisystem, das der Agent lesen und beschreiben kann, eine Shell, in der der Agent Befehle ausführen kann, und eine Isolierung, sodass das vom Modell Generierte keine anderen Sandboxes oder deine Infrastruktur beeinträchtigen kann. Sitzungen bleiben über Anfragen hinweg bestehen, sodass der Agent den Zustand über eine mehrschrittige Aufgabe hinweg aufrechterhalten kann.
Das Python SDK ist unkompliziert:
from novita_sandbox.code_interpreter import Sandbox
sandbox = Sandbox.create()
# Agent schreibt eine Datei
sandbox.files.write("/workspace/app.py", code_content)
# Agent führt sie aus
result = sandbox.commands.run("python /workspace/app.py")
print(result.stdout)
# Aufräumen
sandbox.kill()
Kombiniere dies mit einem beliebigen OpenAI-kompatiblen Modell auf der Novita-LLM-API, und du hast einen Coding Agent, der Code generieren, ausführen, überprüfen und überarbeiten kann – ohne Infrastruktur außer deinem API-Schlüssel.
Open-Source-Agent-Frameworks
Mehrere Open-Source-Coding-Agents sind als Drop-in-Laufzeitumgebungen auf der Novita Agent Sandbox verfügbar:
- OpenClaw auf Novita – Stelle einen persistenten OpenClaw-Agent über die Novita-Sandbox ohne Sitzungsbegrenzung bereit. Er verbindet sich automatisch mit der Novita-LLM-API und der Sandbox, was ihn für langlaufende Automatisierungsaufgaben praktisch macht.
- Hermes Agent – Ein autonomer Agent von Nous Research mit persistentem Speicher. Läuft als langlebiger Prozess und nicht als einzelne Sitzung.
- Goose – Ein Open-Source-Coding-Agent (45K+ GitHub-Sterne) mit Novita als nativem Anbieter, der ihm Zugriff auf 200+ Modelle hinter einer einzigen Anmeldeinformation gibt.
Für Teams, die benutzerdefinierte Coding-Agents erstellen, anstatt ein bestehendes Framework bereitzustellen, bietet die Novita Agent Runtime eine leichte Abstraktionsschicht, die den Sandbox-Lebenszyklus, das Routing von Tool-Aufrufen und die Sitzungspersistenz verwaltet.
Welches Open-Source-LLM solltest du verwenden?
Der Entscheidungsbaum ist kurz:
Für Coding und agentische Aufgaben: Beginne mit DeepSeek V4 Pro über die API. Es ist der aktuelle Spitzenreiter bei SWE-Bench und mehrschrittiger Tool-Nutzung. Wenn die Kosten die Einschränkung sind, bewältigt DeepSeek V4 Flash einfachere Code-Aufgaben zu einem Bruchteil des Preises.
Für Reasoning und Mathematik: DeepSeek R1 ist immer noch die Benchmark-Referenz für AIME und formales Reasoning. Verwende es, wenn die Aufgabe strukturierte Problemlösung und nicht Code-Ausführung beinhaltet.
Für die kommerzielle Nutzung mit offener Lizenzierung: Qwen3.6 unter Apache 2.0 ist ein praktischer Ausgangspunkt, wenn dein Rechtsteam eine vertraute permissive Lizenz benötigt. Wähle zwischen den dichten und MoE-Varianten basierend auf deinem Serving-Budget und den Aufgabenqualitätstests.
Für selbst gehostetes Coding auf Consumer-GPUs: Qwen 2.5 Coder 32B läuft auf einer einzelnen RTX 4090 und erreicht 92% bei HumanEval. Wenn du ein Coding-Modell ohne High-End-GPU-Infrastruktur selbst hosten musst, ist dies die praktische Wahl.
Für lange Dokumente: Llama 4 Scout mit seinem 10M-Token-Kontextfenster bewältigt Workloads, die bei jedem anderen Modell eine Aufteilung erfordern würden.
Für kleine Umgebungen: Phi-4 14B passt in 8 GB VRAM und bewältigt Anweisungsbefolgung, Code-Generierung und leichtes Reasoning gut.
Das Muster bei all diesen Entscheidungen: Der gehostete API-Zugriff entfernt den operativen Overhead und ermöglicht es dir, Modelle zu wechseln, während sich die Landschaft weiterentwickelt. Self-Hosting ist sinnvoll, wenn Datensouveränität oder Token-Ökonomie im großen Maßstab die GPU-Operationsinvestition rechtfertigen. Die meisten Produktionsteams landen bei beidem.
Fazit
Die Open-Source-LLM-Landschaft im Jahr 2026 unterscheidet sich grundlegend von der vor zwei Jahren. Modelle wie DeepSeek V4 Pro, Qwen3.6, Kimi K2.6 und GLM-5.1 sind erstklassige Kandidaten für spezifische Workloads wie agentisches Coding, formales Reasoning, multimodale Analyse und Long-Context-Verarbeitung.
Die praktische Entscheidung ist nicht, welches Modell in einer Bestenliste am besten abschneidet. Es geht darum, welches Modell zu deinem Betriebsmodell passt: eine gehostete API, wenn du schnell vorankommen und GPU-Operationen vermeiden musst; Self-Hosting, wenn deine Daten deine Infrastruktur nicht verlassen dürfen oder deine Token-Ökonomie die Investition rechtfertigt; und eine Sandbox-Ausführungsschicht, wenn dein Modell auf Code reagieren und ihn nicht nur generieren muss.
Die Novita-LLM-API deckt die wichtigsten Open-Source-Modelle hinter einem OpenAI-kompatiblen Endpunkt ab, sodass du denselben Integrationscode gegen DeepSeek, Qwen, Kimi oder GLM ausführen kannst, ohne deinen Stack für jede Modellversion neu aufbauen zu müssen. Kombiniere es mit der Agent Sandbox, wenn die Aufgabe Code-Ausführung erfordert, und du hast den Kern eines produktionsreifen Coding Agents, ohne die zugrunde liegende Infrastruktur selbst verwalten zu müssen.
FAQ
Was ist das beste Open-Source-LLM im Jahr 2026?
DeepSeek V4 Pro ist ein starker Kandidat für agentisches Coding, Kimi K2.6 zielt auf langfristige Tool-Nutzung ab, Qwen3.6 bietet Apache-2.0-Optionen in verschiedenen Größen, und GLM-5.1 zielt auf anhaltende agentische Ausführung ab. Die richtige Antwort hängt von deiner Aufgabe, den Lizenzanforderungen, der Hardware und davon ab, ob du selbst hosten möchtest.
Was sind die besten Open-Source-LLMs für die lokale Nutzung?
Qwen 2.5 Coder 32B (einzelne RTX 4090), Phi-4 14B (8 GB VRAM) und Llama 4 Scout (16 GB VRAM, 10M Kontext) sind die praktischen Optionen für die lokale Inferenz. Modelle über 70B erfordern typischerweise Multi-GPU-Setups.
Sind Open-Source-LLMs genauso gut wie geschlossene Modelle?
Für bestimmte Aufgaben, ja. DeepSeek V4 Pro erreicht oder übertrifft GPT-4.1 bei SWE-Bench und Coding-Benchmarks. Für allgemeine offene Aufgaben haben die besten geschlossenen Modelle immer noch einen Vorteil. Die Lücke hängt stark von der spezifischen Aufgabe und Benchmark ab.
Was sind die neuesten Open-Source-LLM-Nachrichten?
Stand 24. August 2026 umfassen die aktuellen Open-Weight-Versionen Qwen3.6, Kimi K2.6, GLM-5.1 und DeepSeek V4 Pro.
Wie greife ich auf Open-Source-LLM-Modelle zu, ohne sie selbst zu hosten?
Verwende eine gehostete Inferenz-API. Novita AI bietet OpenAI-kompatiblen Zugriff auf DeepSeek, Qwen, Kimi, GLM, MiniMax und andere Open-Source-Modelle. Ändere deine Basis-URL auf https://api.novita.ai/v3/openai und die Modell-ID auf die gewünschte; keine weiteren Änderungen an deinem bestehenden Code sind erforderlich.
Was ist der Unterschied zwischen Open-Source-LLMs und Open-Source-Sprachmodellen?
Die Begriffe werden in den meisten Kontexten synonym verwendet. Technisch bezieht sich „Large Language Model“ speziell auf Transformer-basierte Sprachmodelle, die in großem Maßstab trainiert wurden. „Open-Source-Sprachmodell“ kann sich auch auf kleinere Modelle oder Modelle außerhalb der Transformer-Architektur beziehen, aber im aktuellen Sprachgebrauch beschreiben beide Begriffe dieselbe Kategorie von Modellen.
Empfohlene Artikel
- AI Open Source: Best Models, Coding Tools, and Runtime Strategy in 2026
- Open Source Coding Agents: Best Tools and How to Build One
- Qwen3.6 27B vs 35B-A3B on Novita AI: Which Model Should You Use?
- Best Full-Stack AI Platforms for Open-Source Model Deployment
- Kimi K2.6 on Novita AI: Agentic Coding API Guide
