Erhalten Sie 10 $ LLM-API-Guthaben
Wichtige Highlights
Qwen 3 235B A22B ist ein leistungsstarkes Mixture-of-Experts (MoE)-Modell, das für fortgeschrittenes Reasoning, Coding und mehrsprachige Aufgaben entwickelt wurde.
Der lokale Betrieb erfordert ~1128 GB VRAM – das entspricht 16× A100 oder 16× H100 GPUs – und ist daher für die meisten einzelnen Entwickler unzugänglich.
So greifen Sie per API auf Qwen 3 235B A22B zu: 3 einfache Methoden:
- Direkte API-Integration mit OpenAI-kompatiblen Endpunkten
- Multi-Agent-Workflows mit OpenAI Agents SDK
- Drittanbieter-Integrationen über Hugging Face, LangChain, Dify und mehr
Qwen 3 235B A22B ist eines der leistungsfähigsten großen Sprachmodelle, die heute verfügbar sind, mit Spitzenleistungen in Reasoning, Mathematik und mehrsprachigen Aufgaben. Da der VRAM-Bedarf jedoch über 1 TB beträgt, ist der lokale Betrieb für die meisten Entwickler nahezu unmöglich. Glücklicherweise ermöglicht der API-basierte Zugriff, diese Leistung ohne die schwere Infrastruktur zu nutzen.
Was ist Qwen 3 235B A22B?
Qwen 3 235B A22B Benchmark
Von Qwen
Hardware-Anforderungen von Qwen 3 235B A22B
Der lokale Betrieb von Qwen 3 235B A22B erfordert ~1128 GB VRAM, was Folgendem entspricht:
- 16× A100 (80 GB) GPUs
- oder 16× H100 (80 GB) GPUs
Diese Konfiguration liegt weit außerhalb der Reichweite der meisten einzelnen Entwickler oder kleinen Teams.
Die API ist die intelligentere Wahl für die meisten Entwickler
- Keine Einrichtungs- oder Hardwarekosten
- Sofortiger Zugriff auf hochmoderne Modelle
- Skalierbare Nutzung je nach Bedarf
- Kontinuierliche Modellaktualisierungen und -wartung
Option 1: Direkte API-Integration
Schritt 1: Anmelden und auf die Modellbibliothek zugreifen
Melden Sie sich in Ihrem Konto an und klicken Sie auf die Schaltfläche Model Library.
Schritt 2: Wählen Sie Ihr Modell
Durchsuchen Sie die verfügbaren Optionen und wählen Sie das Modell aus, das Ihren Anforderungen entspricht.
Schritt 3: Starten Sie Ihre kostenlose Testversion
Beginnen Sie Ihre kostenlose Testversion, um die Fähigkeiten des ausgewählten Modells zu erkunden.
Testen Sie Qwen 3 235B A22B jetzt!
Schritt 4: Holen Sie sich Ihren API-Schlüssel
Zur Authentifizierung mit der API stellen wir Ihnen einen neuen API-Schlüssel zur Verfügung. Rufen Sie die Seite „Settings“ auf und kopieren Sie den API-Schlüssel, wie im Bild gezeigt.
Schritt 5: Installieren Sie die API
Installieren Sie die API mit dem für Ihre Programmiersprache spezifischen Paketmanager.
Importieren Sie nach der Installation die erforderlichen Bibliotheken in Ihre Entwicklungsumgebung. Initialisieren Sie die API mit Ihrem API-Schlüssel, um mit Novita AI LLM zu interagieren. Dies ist ein Beispiel für die Verwendung der Chat Completions API für Python-Benutzer.
from openai import OpenAI
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<YOUR Novita AI API Key>",
)
model = "qwen/qwen3-235b-a22b-fp8"
stream = True # or False
max_tokens = 2048
system_content = """Be a helpful assistant"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
Option 2: Multi-Agent-Workflows mit OpenAI Agents SDK
Das OpenAI Agents SDK ist eine produktionsreife Weiterentwicklung des SWARM-Projekts von OpenAI, die die Entwicklung intelligenter, kollaborativer und sicherer KI-Agenten vereinfachen soll. Im Kern stehen LLM-basierte Agenten, die mit benutzerdefinierten Anweisungen, Rollen und externen Tools konfiguriert werden können. Das SDK bietet leistungsstarke Funktionen wie die automatische Umwandlung von Funktionstools mit Pydantic-Validierung, integrierte Agenten-Schleifen für nahtloses Tool-Feedback, Multi-Agent-Aufgabendelegierung und robuste Sicherheitsvorkehrungen. Entwickler profitieren von Python-nativem Orchestrierung, integrierten Tracing-Tools zum Debuggen und hoher Anpassbarkeit – alles in einem leichten Framework, das eine minimale Einarbeitungszeit erfordert.
1. Richten Sie Ihre Python-Umgebung ein und installieren Sie das Agents SDK.
python -m venv env
source env/bin/activate
pip install openai-agents
2. Richten Sie Ihren Novita-API-Schlüssel ein.
Zur Konsole gehen und 10 Credits erhalten
3. Ein Beispiel für Übergaben (Handoffs)
import os
from openai import AsyncOpenAI
from agents import (
Agent,
Runner,
set_default_openai_api,
set_default_openai_client,
set_tracing_disabled,
)
BASE_URL = "https://api.novita.ai/v3/openai"
API_KEY = os.getenv("NOVITA_API_KEY")
MODEL_NAME = os.getenv("MODEL_NAME")
# Because Novita not support the responses API so we use the chat completions API instead.
set_default_openai_api("chat_completions")
set_default_openai_client(AsyncOpenAI(base_url=BASE_URL, api_key=API_KEY))
# Disable tracing for this example
# Refer to https://openai.github.io/openai-agents-python/tracing/#external-tracing-processors-list to use the custom spans.
set_tracing_disabled(disabled=True)
agent = Agent(name="Assistant",
instructions="You are a helpful assistant", model=MODEL_NAME)
result = Runner.run_sync(
agent, "Write a haiku about recursion in programming.")
print(result.final_output)
# Code within the code,
# Functions calling themselves,
# Infinite loop's dance.
Option 3: Qwen 3 API-Integration von Drittanbietern
1. HuggingFace-Integration
Schritt 1: API-Schlüssel auf Hugging Face konfigurieren
- Rufen Sie Ihr Kontoeinstellungs-Dashboard auf, um Ihre API-Schlüssel zu konfigurieren.
- Geben Sie Ihre Novita AI-Authentifizierungsdaten auf der Hugging Face-Plattform ein.
Schritt 2: Wählen Sie Inference-API-Modi
- Custom Key Mode: Aufrufe werden direkt an den Inference-Anbieter gesendet und verwenden Ihren eigenen API-Schlüssel.
- HF-Routed Mode: In diesem Modus ist kein Anbieter-Token erforderlich. Die Gebühren werden Ihrem Hugging Face-Konto anstelle des Anbieterkontos belastet.
Schritt 3: Klicken Sie auf die Einstellungsschaltfläche und wählen Sie Novita AI als Ihren API-Anbieter aus
2. Agenten/Framework-Integration mit Novita AI
Novita AI ist ein erstklassiger Partner vieler beliebter Agenten-Frameworks.
Sie können Novita direkt als Ihren Anbieter innerhalb der Plattformen auswählen. Jedes kommt mit offiziellen Connectoren und Schritt-für-Schritt-Anleitungen, was die Integration für Multi-Agent-Workflows, Tool-Calling-Agenten und komplexe Orchestrierungsaufgaben reibungslos gestaltet.
3. OpenAI-kompatible API-Integration
Für Tools, die auf dem OpenAI API-Standard basieren, bietet Novita AI einen Drop-in-Ersatz – alles, was Sie brauchen, ist eine Basis-URL und einen API-Schlüssel. Diese Methode erfordert kein Refactoring und unterstützt die sofortige Migration für Apps, die bereits OpenAI-kompatible Aufrufe verwenden.
Häufig gestellte Fragen
Was ist Qwen 3 235B A22B?
Ein hochmodernes MoE-Sprachmodell von Alibaba mit 235B Parametern (22B aktiv pro Forward-Pass), das sich durch Logik, Mathematik und mehrsprachige Aufgaben auszeichnet.
Warum kann ich Qwen 3 235B A22B nicht lokal ausführen?
Es erfordert ~1128 GB VRAM – weit über die Hardware von Verbrauchergeräten hinaus. Sie benötigen 16× A100- oder H100-GPUs.
Gibt es eine kostenlose Testversion für Qwen 3 235B A22B?
Ja. Novita AI bietet kostenlose Credits, um das Modell vor einer Verpflichtung zu erkunden.
*Novita AI *ist eine KI-Cloud-Plattform, die Entwicklern eine einfache Möglichkeit bietet, KI-Modelle mit unserer einfachen API bereitzustellen, und gleichzeitig die erschwingliche und zuverlässige GPU-Cloud zum Erstellen und Skalieren bereitstellt.
