Das beste Open Source LLM für Ihr Projekt im Juli 2026 hängt von der Aufgabe ab, nicht von der Benchmark-Schlagzeile. Zu den aktuellen Optionen gehören DeepSeek V4 Pro, Qwen3.6, Kimi K2.6 und GLM-5.1, die jeweils unterschiedliche Stärken in den Bereichen Reasoning, Coding, Long-Context-Arbeit und Lizenzierung aufweisen. Die praktische Frage ist, ob Sie herunterladbare Gewichte oder eine gehostete API benötigen, die ohne GPU-Betriebsteam funktioniert. Dieser Leitfaden vergleicht das aktuelle Feld, erklärt Self-Hosting versus API-Zugriff und zeigt, wie Sie Open-Weight-Modelle in einem Coding Agent mit Novita AI verwenden.
Was zählt als Open Source LLM?
„Open Source“ deckt in der Praxis ein breites Spektrum ab. Die betrieblich wichtigste Unterscheidung ist, ob Sie die Modellgewichte selbst ausführen können, nicht ob der Trainingscode öffentlich ist. Die häufigsten Fälle sind:
- Vollständig offene Gewichte mit permissiver Lizenz (Apache 2.0, MIT): Sie können das Modell kommerziell nutzen, modifizieren und bereitstellen, vorbehaltlich der Lizenzbedingungen. Beispiele: Qwen3.6 (Apache 2.0), DeepSeek R1 (MIT) und GLM-5.1 (MIT).
- Offene Gewichte mit benutzerdefinierter Lizenz: Gewichte sind herunterladbar, aber die kommerzielle Nutzung, Weiterverbreitung oder das Feintuning können Einschränkungen unterliegen. Meta’s Llama 4 verwendet eine benutzerdefinierte Lizenz mit Nutzerzahlen-Schwellenwerten über 700 Millionen monatlichen Nutzern.
- Nur-Forschung oder gesperrte Gewichte: Gewichte sind verfügbar, aber auf nicht-kommerzielle Nutzung beschränkt oder erfordern eine Genehmigung. Weniger relevant für Produktionsteams.
Für die meisten Produktionsentscheidungen ist der praktische Filter: Können Sie dieses Modell legal Ihren Nutzern anbieten, und erlaubt die Lizenz den von Ihnen benötigten kommerziellen Anwendungsfall?
Beste Open Source LLMs im Jahr 2026
Die Open-Weight-Stufe hat sich deutlich verdichtet. Diese Liste wurde am 22. Juli 2026 aktualisiert, um neuere Qwen-, Kimi- und GLM-Veröffentlichungen zu berücksichtigen. Eine wichtige Grenze: Moonshot hat am 16. Juli Kimi K3 angekündigt, aber die vollständigen Gewichte sind für den 27. Juli geplant. Bis diese Gewichte tatsächlich veröffentlicht sind, bleibt Kimi K2.6 das neueste hier abgedeckte herunterladbare Kimi-Modell.
Allgemeine Zwecke und Reasoning
DeepSeek V4 Pro (685B, MIT-ähnlich) ist der aktuelle Benchmark-Leader für agentisches Coding. Es erreicht oder übertrifft geschlossene Frontier-Modelle in SWE-Bench und Function-Calling-Benchmarks und ist damit eine praktische Wahl für Coding-Agenten, die große Codebasen lesen und mehrstufige Tool-Aufrufe ausführen müssen. Es ist als gehostete API verfügbar, wenn Sie nicht über die Infrastruktur verfügen, um ein 685B-Modell selbst zu betreiben.
Qwen3.6 erweitert die Open-Weight-Qwen-Familie um dichte und sparse MoE-Varianten, multimodale Eingabe und ein natives Kontextfenster von 262K. Die Apache-2.0-Lizenz hält es für kommerzielle Bereitstellungen praktikabel, während die Bandbreite an Modellgrößen den Teams mehr Spielraum gibt, um Qualität gegen Servicekosten abzuwägen.
Kimi K2.6 ist Moonshot AIs Open-Weight-MoE-Modell mit 1 Billion Parametern, 32B aktiven Parametern und einem 256K-Kontextfenster. Es ist für langfristiges agentisches Coding, Tool-Nutzung und Multi-Agenten-Koordination konzipiert und über gehosteten API-Zugriff verfügbar, wenn Sie das Modell nicht selbst betreiben möchten.
DeepSeek R1 (685B, MIT) bleibt die stärkste Wahl für Mathematik und formales Reasoning – 79,8% auf AIME. Wenn Ihre Anwendung Code-Verifikation, formale Beweise oder strukturierte Reasoning-Ketten umfasst, ist R1 der Benchmark-Referenzpunkt.
GLM-5.1 ist Z.ais MIT-lizenziertes Update von GLM-5, mit 40B aktiven Parametern und einem 204,8K-Kontextfenster. Sein Hauptanwendungsbereich ist langfristige agentische Arbeit, bei der ein Modell iterieren, Ergebnisse überprüfen und die Strategie ändern muss, anstatt nach einem kurzen Codierdurchlauf anzuhalten.
Coding-spezifisch
Qwen 2.5 Coder 32B (Apache 2.0) erreicht 92% auf HumanEval und läuft auf einer einzelnen RTX 4090. Wenn Sie ein Coding-Modell benötigen, das Sie auf Consumer-Hardware selbst hosten können, ist dies die praktische Wahl.
Kimi K2.6 ist auch die derzeitige Coding-fokussierte Kimi-Wahl. Sein Long-Context- und Long-Horizon-Design macht es für anhaltende Repository-Arbeit, Tool-lastige Workflows und autonomes Debugging relevanter als die frühere Kimi K2 Code-Variante.
Klein und effizient
Phi-4 14B von Microsoft läuft in 8 GB VRAM und bewältigt Instruktionsbefolgung, Code und leichtes Reasoning gut. Verwenden Sie es, wenn Latenz- und Hardwarebeschränkungen wichtiger sind als Spitzenqualität.
Llama 4 Scout von Meta unterstützt bis zu 10 Millionen Token Kontext und passt in 16 GB VRAM. Die richtige Wahl, wenn Ihr Workload die Verarbeitung langer Dokumente umfasst.
Modellvergleich auf einen Blick
| Modell | Größe | Lizenz | Am besten geeignet für | Kontext |
|---|---|---|---|---|
| DeepSeek V4 Pro | 685B | MIT-ähnlich | Agentisches Coding, SWE-Bench | 1M |
| Qwen3.6 | Dichte und MoE-Varianten | Apache 2.0 | Multimodales Reasoning, kommerzielle Nutzung | 262K |
| Kimi K2.6 | 1T MoE, 32B aktiv | Modifiziertes MIT | Agentisches Coding, Tool-Nutzung | 256K |
| DeepSeek R1 | 685B | MIT | Mathematik, formales Reasoning | 163K |
| GLM-5.1 | MoE, 40B aktiv | MIT | Langfristige agentische Arbeit | 204,8K |
| Qwen 2.5 Coder 32B | 32B | Apache 2.0 | Code, selbst gehostet | 128K |
| Phi-4 14B | 14B | MIT | Niedriger VRAM, Entwicklungsnutzung | 128K |
| Llama 4 Scout | ~109B | Benutzerdefiniert | Lange Dokumente | 10M |
Self-Hosting vs. gehostete API-Inferenz
Dies ist die operative Entscheidung, die Ihre tatsächlichen Kosten und Ihren Zeitaufwand bestimmt. Die Kurzversion: Gehostete API-Inferenz ist günstiger und schneller zu betreiben, es sei denn, Sie bewegen sich über etwa 2–5 Millionen Token pro Tag mit anhaltendem Traffic über einen Zeitraum von 12 Monaten.
Wann gehostete API-Inferenz gewinnt
- Ihr Team hat keine Erfahrung mit GPU-Betrieb
- Sie befinden sich noch in der Prototyping- oder Iterationsphase der Modellauswahl
- Ihr Token-Volumen liegt unter dem Break-Even-Punkt des Self-Hostings
- Sie müssen Modelle schnell wechseln, sobald neue Versionen erscheinen
- Zuverlässigkeit und Auto-Scaling sind wichtiger als Kostenoptimierung
Eine gehostete LLM-API, insbesondere eine OpenAI-kompatible, ermöglicht es Ihnen, ein neues Modell mit einer einzeiligen Änderung Ihrer Basis-URL und Modell-ID hinzuzufügen. Sie vermeiden Cold-Start-Management, Quantisierungs-Kompromisse, Batch-Konfiguration und Serving-Framework-Upgrades.
Wann Self-Hosting gewinnt
- Ihre Daten dürfen Ihre Infrastruktur nicht verlassen (Gesundheitswesen, Finanzen, Recht, regulierte Branchen)
- Sie verarbeiten mehr als 5 Millionen Token pro Tag mit vorhersagbarem Traffic
- Sie müssen einen feinjustierten oder angepassten Checkpoint bereitstellen, den kein gehosteter Anbieter anbietet
- Sie haben einen bestehenden GPU-Cluster mit verfügbarer Kapazität
Self-Hosting auf H100s mit SGLang oder vLLM ist im großen Maßstab wirklich kosteneffizient. Aktuelle Benchmarks zeigen SGLang mit 29 % höherem Durchsatz als vLLM bei Standard-Workloads und bis zu 6x schneller bei prefix-lastigen RAG-Pipelines durch RadixAttention. Aber diese Vorteile zählen nur, wenn Sie die betriebliche Kapazität haben, den Serving-Stack durch Modell-Updates, Hardwareausfälle und Traffic-Spitzen zu warten.
Der hybride Weg
Die meisten Teams landen bei einem Hybrid: Gehostete API für Prototyping und flexiblen Modellzugriff, GPU-Instanzen für Workloads, die dedizierte Kapazität rechtfertigen. Der praktische Vorteil, auf einer einzigen KI-Cloud-Plattform zu bleiben, ist, dass Sie Auth, Abrechnung, Überwachung und Bereitstellungspipelines nicht neu aufbauen müssen, wenn Sie von serverloser API zu dediziertem Endpunkt zu benutzerdefinierter GPU-Instanz wechseln.
Wie Sie auf Open Source LLMs per API zugreifen
Novita AI bietet OpenAI-kompatiblen API-Zugriff auf einen Katalog von Open-Source-Modellen, darunter DeepSeek V4 Pro, DeepSeek V4 Flash, Kimi K2.6, Qwen3.6, GLM-5.1, MiniMax M3 und andere. Die Endpunktstruktur ist dieselbe wie bei OpenAI, sodass vorhandener Code, der das openai SDK verwendet, mit minimalen Änderungen eine Verbindung zu Novita-Modellen herstellen kann.
Basis-API-Aufruf
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="YOUR_NOVITA_API_KEY",
)
response = client.chat.completions.create(
model="deepseek/deepseek-v4-pro",
messages=[
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Explain the difference between DeepSeek R1 and V4 Pro."},
],
)
print(response.choices[0].message.content)
Um das Modell zu wechseln, ändern Sie den Parameter model. Keine weiteren Änderungen erforderlich. Eine vollständige Liste der unterstützten Modell-IDs finden Sie unter novita.ai/docs/model-api/reference/llm/models.html.
TypeScript
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.novita.ai/v3/openai",
apiKey: process.env.NOVITA_API_KEY,
});
const response = await client.chat.completions.create({
model: "qwen/qwen3.5-397b-a17b",
messages: [{ role: "user", content: "Write a Python function to parse JSON." }],
});
console.log(response.choices[0].message.content);
Preisreferenz
Die Preise variieren je nach Modell und werden pro Million Token berechnet. DeepSeek V4 Flash mit 0,14 $/Mt Input und 0,28 $/Mt Output ist die kosteneffizienteste Allzweck-Option. DeepSeek V4 Pro mit 1,60 $/Mt Input und 3,20 $/Mt Output ist die Premium-Wahl für agentische und Coding-Workflows, bei denen die Modellqualität direkt die Aufgabenerledigungsrate beeinflusst. Überprüfen Sie unter novita.ai/models/llm die aktuellen Preise, da diese sich mit neuen Modellerweiterungen ändern.
Open Source LLMs für Coding Agents
Die effektivsten Coding-Agent-Setups im Jahr 2026 kombinieren ein Open Source LLM für Reasoning und Codegenerierung mit einer abgeschotteten Ausführungsumgebung zum Ausführen des Codes. Dies ist eine andere Architektur als ein einfacher API-Aufruf: Der Agent muss Dateien lesen, Code schreiben, Befehle ausführen, Ausgaben überprüfen und iterieren.
Die beiden zu vermeidenden Fehlermodi sind:
- Ausführen von agentengeneriertem Code auf Ihrem Entwicklungsrechner oder Produktionsserver – ein Fehler, wenn das Modell etwas Destruktives oder Unerwartetes generiert
- Selbst ein vollständiges VM pro Agent-Sitzung einrichten – schnell ausgewachsen, langsam zu skalieren
Novita Agent Sandbox
Novitas Agent Sandbox bietet isolierte Linux-Umgebungen, die in unter 200 ms hochfahren. Jede Sandbox verfügt über ein Dateisystem, das der Agent lesen und beschreiben kann, eine Shell, in der der Agent Befehle ausführen kann, und eine Isolierung, sodass das, was das Modell generiert, andere Sandboxes oder Ihre Infrastruktur nicht beeinträchtigen kann. Sitzungen bleiben über Anfragen hinweg bestehen, sodass der Agent den Zustand über eine mehrstufige Aufgabe hinweg aufrechterhalten kann.
Das Python SDK ist einfach:
from novita_sandbox.code_interpreter import Sandbox
sandbox = Sandbox.create()
# Agent schreibt eine Datei
sandbox.files.write("/workspace/app.py", code_content)
# Agent führt sie aus
result = sandbox.commands.run("python /workspace/app.py")
print(result.stdout)
# Aufräumen
sandbox.kill()
Kombinieren Sie dies mit einem beliebigen OpenAI-kompatiblen Modell auf Novitas LLM-API, und Sie haben einen Coding-Agenten, der Code generieren, ausführen, überprüfen und überarbeiten kann, ohne dass Sie eine andere Infrastruktur als Ihren API-Schlüssel benötigen.
Open Source Agent-Frameworks
Mehrere Open Source Coding Agents sind als Drop-In-Laufzeiten auf Novitas Agent Sandbox verfügbar:
- OpenClaw auf Novita – Stellen Sie einen persistenten OpenClaw-Agenten über die Novita-Sandbox ohne Sitzungslimit bereit. Es stellt automatisch eine Verbindung zur Novita-LLM-API und Sandbox her, was es praktisch für langlaufende Automatisierungsaufgaben macht.
- Hermes Agent – Ein autonomer Agent von Nous Research mit persistentem Speicher. Läuft als langlebiger Prozess und nicht als einzelne Sitzung.
- Goose – Ein Open Source Coding Agent (45.000+ GitHub-Sterne) mit Novita als nativem Anbieter, der ihm Zugriff auf über 200 Modelle hinter einem einzigen Berechtigungsnachweis gibt.
Für Teams, die benutzerdefinierte Coding Agents erstellen, anstatt ein vorhandenes Framework bereitzustellen, bietet die Novita Agent Runtime eine leichtgewichtige Gerüstschicht, die den Sandbox-Lebenszyklus, das Tool-Aufruf-Routing und die Sitzungspersistenz verwaltet.
Welches Open Source LLM sollten Sie verwenden?
Der Entscheidungsbaum ist kurz:
Für Coding und agentische Aufgaben: Beginnen Sie mit DeepSeek V4 Pro per API. Es ist der aktuelle Leistungsführer für SWE-Bench und mehrstufige Tool-Nutzung. Wenn Kosten die Einschränkung sind, bewältigt DeepSeek V4 Flash einfachere Code-Aufgaben zu einem Bruchteil des Preises.
Für Reasoning und Mathematik: DeepSeek R1 ist immer noch der Benchmark-Referenzpunkt für AIME und formales Reasoning. Verwenden Sie es, wenn die Aufgabe strukturierte Problemlösung anstelle von Codeausführung beinhaltet.
Für kommerzielle Nutzung mit offener Lizenzierung: Qwen3.6 unter Apache 2.0 ist ein praktischer Ausgangspunkt, wenn Ihr Rechtsteam eine vertraute permissive Lizenz benötigt. Wählen Sie zwischen den dichten und MoE-Varianten basierend auf Ihrem Serving-Budget und den Qualitätstests der Aufgabe.
Für selbst gehostetes Coding auf Consumer-GPUs: Qwen 2.5 Coder 32B läuft auf einer einzelnen RTX 4090 und erzielt 92% auf HumanEval. Wenn Sie ein Coding-Modell ohne High-End-GPU-Infrastruktur selbst hosten müssen, ist dies die praktische Wahl.
Für lange Dokumente: Llama 4 Scout mit seinem 10-Millionen-Token-Kontextfenster bewältigt Workloads, die bei jedem anderen Modell eine Aufteilung erfordern würden.
Für kleine Umgebungen: Phi-4 14B passt in 8 GB VRAM und bewältigt Instruktionsbefolgung, Codegenerierung und leichtes Reasoning gut.
Das Muster bei all diesen Entscheidungen: Gehosteter API-Zugriff entfernt betrieblichen Overhead und ermöglicht es Ihnen, Modelle zu wechseln, sobald sich die Landschaft weiterentwickelt. Self-Hosting ist sinnvoll, wenn Datensouveränität oder Token-Ökonomie im großen Maßstab die GPU-Betriebsinvestition rechtfertigen. Die meisten Produktionsteams landen bei beidem.
Fazit
Die Open Source LLM-Landschaft im Jahr 2026 unterscheidet sich grundlegend von vor zwei Jahren. Modelle wie DeepSeek V4 Pro, Qwen3.6, Kimi K2.6 und GLM-5.1 sind erstklassige Kandidaten für spezifische Workloads wie agentisches Coding, formales Reasoning, multimodale Analyse und Long-Context-Verarbeitung.
Die praktische Entscheidung ist nicht, welches Modell auf einer Rangliste am besten ist. Es ist, welches Modell zu Ihrem Betriebsmodell passt: eine gehostete API, wenn Sie schnell handeln und GPU-Operationen vermeiden müssen; Self-Hosting, wenn Ihre Daten Ihre Infrastruktur nicht verlassen können oder Ihre Token-Ökonomie die Investition rechtfertigt; und eine Sandbox-Ausführungsschicht, wenn Ihr Modell auf Code reagieren und ihn nicht nur generieren muss.
Novita AIs LLM-API deckt die wichtigsten Open-Source-Modelle hinter einem OpenAI-kompatiblen Endpunkt ab, sodass Sie denselben Integrationscode gegen DeepSeek, Qwen, Kimi oder GLM ausführen können, ohne Ihren Stack für jede Modellveröffentlichung neu aufbauen zu müssen. Kombinieren Sie es mit Agent Sandbox, wenn die Aufgabe Codeausführung erfordert, und Sie haben den Kern eines produktionsreifen Coding-Agenten, ohne die zugrunde liegende Infrastruktur selbst verwalten zu müssen.
FAQ
Was ist das beste Open Source LLM im Jahr 2026?
DeepSeek V4 Pro ist ein starker Kandidat für agentisches Coding, Kimi K2.6 zielt auf langfristige Tool-Nutzung, Qwen3.6 bietet Apache-2.0-Optionen in mehreren Größen und GLM-5.1 zielt auf anhaltende agentische Ausführung. Die richtige Antwort hängt von Ihrer Aufgabe, den Lizenzanforderungen, der Hardware und davon ab, ob Sie selbst hosten möchten.
Was sind die besten Open Source LLMs für die lokale Nutzung?
Qwen 2.5 Coder 32B (einzelne RTX 4090), Phi-4 14B (8 GB VRAM) und Llama 4 Scout (16 GB VRAM, 10M Kontext) sind die praktischen Optionen für lokale Inferenz. Modelle über 70B erfordern normalerweise Multi-GPU-Setups.
Sind Open Source Large Language Models genauso gut wie geschlossene Modelle?
Für bestimmte Aufgaben ja. DeepSeek V4 Pro erreicht oder übertrifft GPT-4.1 in SWE-Bench und Coding-Benchmarks. Für allgemeine offene Aufgaben haben die besten geschlossenen Modelle immer noch einen Vorteil. Die Lücke hängt stark von der spezifischen Aufgabe und dem Benchmark ab.
Was gibt es heute Neues bei Open Source LLMs?
Stand 22. Juli 2026 umfassen aktuelle Open-Weight-Veröffentlichungen Qwen3.6, Kimi K2.6, GLM-5.1 und DeepSeek V4 Pro. Kimi K3 wurde angekündigt, aber die vollständigen Gewichte sind für den 27. Juli geplant, daher sollte es noch nicht als herunterladbare Open-Weight-Option behandelt werden.
Wie kann ich auf Open Source LLM Modelle zugreifen, ohne sie selbst zu hosten?
Verwenden Sie eine gehostete Inferenz-API. Novita AI bietet OpenAI-kompatiblen Zugriff auf DeepSeek, Qwen, Kimi, GLM, MiniMax und andere Open-Source-Modelle. Ändern Sie Ihre Basis-URL auf https://api.novita.ai/v3/openai und die Modell-ID auf die gewünschte; keine weiteren Änderungen an Ihrem vorhandenen Code.
Was ist der Unterschied zwischen Open Source LLMs und Open Source Language Models?
Die Begriffe werden in den meisten Kontexten synonym verwendet. Technisch bezieht sich „Large Language Model“ speziell auf Transformer-basierte Sprachmodelle, die in großem Maßstab trainiert wurden. „Open Source Language Model“ kann sich auch auf kleinere Modelle oder Modelle außerhalb der Transformer-Architektur beziehen, aber in der aktuellen Verwendung beschreiben beide Begriffe dieselbe Kategorie von Modellen.
