Wie greife ich auf GPT OSS zu? Eine vollständige Anleitung zur Installation und Optimierung

Inhaltsverzeichnis

Erste Schritte mit GPT OSS: Ein Leitfaden für Einsteiger
Unterschiede zwischen GPT OSS und GPT 4
Wo kann ich GPT OSS herunterladen?
Wo kann ich GPT OSS über API ausführen?
Wie wählt man die richtige Chat-Vorlage mit GPT-OSS

GPT OSS ist die erste Open-Source-Serie von GPT-Modellen von OpenAI, die entwickelt wurde, um fortschrittliche Sprachfähigkeiten für alle zugänglich zu machen. Es ist in zwei Größen erhältlich: GPT OSS 120B (etwa 117 Milliarden Parameter) und GPT OSS 20B (21 Milliarden Parameter). Im Gegensatz zu früheren OpenAI-Modellen bietet GPT OSS offene Gewichte unter einer permissiven Lizenz, sodass Sie das Modell herunterladen und auf Ihrer eigenen Hardware ausführen können.

Diese Anleitung führt Sie in die Grundlagen von GPT OSS ein, hebt seine Verbesserungen und Anforderungen hervor und zeigt Ihnen, wie Sie es in der Praxis nutzen können.

Erste Schritte mit GPT OSS: Ein Leitfaden für Einsteiger

GPT OSS-Architektur

MoE-Technologie mit spärlicher Aktivierung für effiziente Inferenz
Autoregressive Transformer + MoE-Architektur
RoPE (Rotary Position Embedding)
Abwechselnde globale und lokale Fensteraufmerksamkeit für lange Sequenzunterstützung
o200k_harmony-Tokenizer, kompatibel mit OpenAI Responses API
Direkte Kompatibilität mit OpenAI-Modellschnittstellen

Hocheffizient und skalierbar

Durch die Verwendung von MoE (Mixture-of-Experts) mit spärlicher Aktivierung und einer Transformer-Architektur können die Modelle eine enorme Anzahl von Parametern verarbeiten und gleichzeitig schnell und effizient laufen. Dies erleichtert die Skalierung der Modellgröße ohne großen Anstieg der Rechenressourcen.

Fähigkeit zur Verarbeitung sehr langer Kontexte

Mit Unterstützung für bis zu 128k Token, RoPE für Positionskodierung und einer Kombination aus globaler und lokaler Aufmerksamkeit können die Modelle wesentlich längere Texte oder Konversationen verarbeiten als die meisten anderen Modelle. Dies ist besonders nützlich für lange Dokumente oder Multi-Turn-Dialoge.

Einfach zu integrieren und zu verwenden

Der o200k_harmony-Tokenizer und die direkte Kompatibilität mit OpenAI-APIs bedeuten, dass diese Modelle als Drop-in-Ersatz in bestehenden OpenAI-Workflows verwendet werden können. Dies senkt die Hürde für Entwickler, die Modelle zu übernehmen und bereitzustellen.

GPT OSS-Systemanforderungen


Modell	Schichten	Gesamtparameter	Aktive Parameter pro Token	Gesamtexperten	Aktive Experten pro Token	Kontextlänge	Einzel-GPU-VRAM-Anforderung
gpt-oss-120b	36	117B	5,1B	128	4	128k	80GB
gpt-oss-20b	24	21B	3,6B	32	4	128k	16GB

GPT OSS-Training

1. Datenqualität & Abdeckung

Umfang: Trainiert mit Billionen von Token aus riesigen Textkorpora.
Inhaltlicher Fokus: Umfasst sowohl spezialisiertes (STEM, Programmiercode) als auch allgemeines Wissen.
Sicherheitsfilterung: Strenge Filterung für schädliche und sensible Inhalte, insbesondere bei biologischer Sicherheit.

Stärke:
Kombiniert breites Allgemeinwissen mit tiefgehender Expertise in technischen Bereichen, während eine hohe Datensicherheit und Zuverlässigkeit gewährleistet wird.

2. Trainingsprozess & Rechenleistung

Recheninvestition:
- GPT-OSS-120B: ~2,1 Millionen H100-GPU-Stunden (vergleichbar mit führenden proprietären Modellen)
- GPT-OSS-20B: etwa ein Sechstel davon
Architektur: Autoregressive Transformer + MoE

Stärke:
Massive Rechenleistung gewährleistet modernste Leistung und Robustheit des Modells.

3. Nachbearbeitung & Alignment

Feinabstimmung:
- Überwachte Instruktions-Feinabstimmung
- Hochrechenintensive Reinforcement-Learning-Phase
Alignment-Techniken:
- Chain-of-Thought (CoT) Reinforcement Learning
- Strenge Ausrichtung an Sicherheits- und Ethikstandards

Stärke:
Ermöglicht fortschrittliches schrittweises Denken, komplexe Problemlösungen und eine starke Ausrichtung an Sicherheitsrichtlinien.

4. Flexibilität & Praktikabilität

Denkmodi: Unterstützt niedrigen, mittleren und hohen Reasoning-Aufwand, konfigurierbar von Entwicklern, um Genauigkeit, Latenz und Kosten auszugleichen.

Stärke:
Bietet praktische Flexibilität für verschiedene Anwendungsfälle und Rechenbudgets.

GPT OSS-Verbesserung

Unterschiede zwischen GPT OSS und GPT 4

GPT-OSS, insbesondere das 120B-Modell, zeigt starke Fähigkeiten in den Bereichen Reasoning, wissenschaftliches Wissen und Codierung und nähert sich damit gängigen großen Modellen an. GPT-4 (o4-mini) liegt jedoch weiterhin in allen wichtigen Benchmarks vorn, einschließlich allgemeinem Reasoning, wissenschaftlichem Reasoning, anspruchsvollen Aufgaben und Codegenerierung. GPT-OSS ist wettbewerbsfähig und für anspruchsvolle Szenarien geeignet, aber GPT-4 bleibt in Bezug auf Genauigkeit und Universalität der Spitzenreiter.

Wo kann ich GPT OSS herunterladen?

GPT OSS-Anforderungen

Beschleunigungstechnologien & Ressourcennutzung

Methoden zum Herunterladen von GPT OSS

Methode	Vorteile	Hardware	Typische Verwendung
Transformers	Offiziell, flexibel, großartige Community	Alle großen GPUs	Lokale Inferenz, Feinabstimmung
Llama.cpp	Leichtgewichtig, plattformübergreifend, schnell	CUDA/Metal/Vulkan	Edge-/Consumer-/Leichtgewichtseinsätze
vLLM	Hoher Durchsatz, optimiert	Hopper bevorzugt	Inferenzserver, skalierbare APIs
transformers serve	API-Server mit einem Befehl	Beliebig	Lokaler API-Prototyping/Test
torchrun/accelerate	Multi-GPU/verteilte Inferenz	Multi-GPU	Großmodell-Inferenz/Training

1. Verwendung von Transformers

Funktioniert auf den meisten GPUs, insbesondere auf Hopper/Blackwell (H100/H200/GB200/50xx).

Installation

pip install --upgrade accelerate transformers kernels
# (Optional) Für PyTorch 2.8 mit Triton 3.4:
pip install torch==2.8.0 --index-url https://download.pytorch.org/whl/test/cu128
pip install git+https://github.com/triton-lang/triton.git@main#subdirectory=python/triton_kernels

Grundlegendes Inferenzbeispiel

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "openai/gpt-oss-20b"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    torch_dtype="auto",
)

messages = [{"role": "user", "content": "How many rs are in the word 'strawberry'?"}]
inputs = tokenizer.apply_chat_template(
    messages, add_generation_prompt=True, return_tensors="pt", return_dict=True
).to(model.device)
generated = model.generate(**inputs, max_new_tokens=100)
print(tokenizer.decode(generated[0][inputs["input_ids"].shape[-1]:]))

Unterstützte Optimierungen

mxfp4 + Triton 3.4 (für Hopper/Blackwell GPUs: schnellste und geringster Speicherverbrauch)
Flash Attention 3 (für Hopper GPUs, mit attn_implementation="kernels-community/vllm-flash-attn3")
MegaBlocks MoE-Kernel (für Nicht-Hopper/Blackwell CUDA oder AMD, mit use_kernels=True, höherer Speicherverbrauch als mxfp4)

2. Llama.cpp

Native mxfp4 + Flash Attention Unterstützung.
Plattformübergreifend: Metal, CUDA, Vulkan.
Einfache Installation:
- macOS: brew install llama.cpp
- Windows: winget install llama.cpp
Empfohlen: Verwendung mit llama-server

llama-server -hf ggml-org/gpt-oss-120b-GGUF -c 0 -fa --jinja --reasoning-format none
# Dann Zugriff auf http://localhost:8080 im Browser

3. vLLM (Optimierte Inferenz-Engine)

Unterstützt Flash Attention 3 (Sink Attention), am besten auf Hopper GPUs.
Verwendung in Python:

from vllm import LLM llm = LLM("openai/gpt-oss-120b", tensor_parallel_size=2) output = llm.generate("San Francisco is a")

Wo kann ich GPT OSS über API ausführen?

Novita AI bietet GPT-OSS 120B
APIs mit 131K Kontext zu Kosten von $0,1/Input und $0,5/Output. Novita AI bietet auch GPT-OSS 20B mit 131 Kontext zu Kosten von $0,05/Input und $0,2/Output und bietet damit starke Unterstützung, um das volle Code-Agent-Potenzial von GPT OSS auszuschöpfen.

Novita AI

Schritt 1: Einloggen und auf die Modellbibliothek zugreifen

Melden Sie sich in Ihrem Konto an und klicken Sie auf die Schaltfläche Modellbibliothek.

Jetzt GPT OSS ausprobieren!

Schritt 2: Wählen Sie Ihr Modell

Durchsuchen Sie die verfügbaren Optionen und wählen Sie das Modell, das Ihren Anforderungen entspricht.

Schritt 3: Starten Sie Ihre kostenlose Testversion

Beginnen Sie Ihre kostenlose Testversion, um die Fähigkeiten des ausgewählten Modells zu erkunden.

Schritt 4: Holen Sie sich Ihren API-Schlüssel

Um sich bei der API zu authentifizieren, stellen wir Ihnen einen neuen API-Schlüssel zur Verfügung. Rufen Sie die Seite „Einstellungen“ auf und kopieren Sie den API-Schlüssel wie im Bild gezeigt.

Schritt 5: Installieren Sie die API

Installieren Sie die API mit dem für Ihre Programmiersprache spezifischen Paketmanager.

Importieren Sie nach der Installation die erforderlichen Bibliotheken in Ihre Entwicklungsumgebung. Initialisieren Sie die API mit Ihrem API-Schlüssel, um mit Novita AI LLM zu interagieren. Dies ist ein Beispiel für die Verwendung der Chat-Completions-API für Python-Benutzer.

from openai import OpenAI
  
client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    api_key="",
)

model = "openai/gpt-oss-120b"
stream = True # or False
max_tokens = 65536
system_content = ""Sei ein hilfreicher Assistent""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": system_content,
        },
        {
            "role": "user",
            "content": "Hallo!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
    temperature=temperature,
    top_p=top_p,
    presence_penalty=presence_penalty,
    frequency_penalty=frequency_penalty,
    response_format=response_format,
    extra_body={
      "top_k": top_k,
      "repetition_penalty": repetition_penalty,
      "min_p": min_p
    }
  )

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)

Wie wählt man die richtige Chat-Vorlage mit GPT-OSS

1. Normale Konversation oder Q&A – Nur das Endergebnis den Benutzern anzeigen

Szenario:
Sie entwickeln einen Chatbot und möchten, dass Benutzer nur die endgültige Antwort sehen.
Zum Beispiel: „Wie wird das Wetter morgen in Shanghai?“ oder „Schreibe mir eine Abwesenheitsanfrage.“