Obtenez 10 $ de crédit API LLM
Points clés
Qwen 3 235B A22B est un puissant modèle Mixture-of-Experts (MoE) conçu pour le raisonnement avancé, le codage et les tâches multilingues.
L’exécuter localement nécessite ~1128 Go de VRAM—soit l’équivalent de 16× GPU A100 ou 16× GPU H100—ce qui le rend inaccessible pour la plupart des développeurs individuels.
Comment accéder à Qwen 3 235B A22B via l’API : 3 méthodes simples :
- Intégration directe de l’API en utilisant des points de terminaison compatibles OpenAI
- Flux de travail multi-agents avec OpenAI Agents SDK
- Intégrations tierces via Hugging Face, LangChain, Dify et plus
Qwen 3 235B A22B est l’un des modèles de langage les plus performants disponibles aujourd’hui, avec des performances de premier ordre en raisonnement, mathématiques et tâches multilingues. Cependant, avec une exigence de VRAM dépassant 1 To, son exécution locale est quasiment impossible pour la plupart des développeurs. Heureusement, l’accès via API permet d’exploiter cette puissance sans l’infrastructure lourde.
Qu’est-ce que Qwen 3 235B A22B ?
Benchmark de Qwen 3 235B A22B
Depuis Qwen
Configuration matérielle requise pour Qwen 3 235B A22B
L’exécution locale de Qwen 3 235B A22B nécessite ~1128 Go de VRAM, soit l’équivalent de :
- 16× GPU A100 (80 Go)
- ou 16× GPU H100 (80 Go)
Cette configuration est bien au-delà de la portée de la plupart des développeurs individuels ou des petites équipes.
L’API est le choix le plus judicieux pour la plupart des développeurs
- Aucun coût de configuration ou de matériel
- Accès instantané aux modèles de pointe
- Utilisation évolutive selon vos besoins
- Mises à jour et maintenance continues du modèle
Option 1 : Intégration directe de l’API
Étape 1 : Connectez-vous et accédez à la bibliothèque de modèles
Connectez-vous à votre compte et cliquez sur le bouton Bibliothèque de modèles.
Étape 2 : Choisissez votre modèle
Parcourez les options disponibles et sélectionnez le modèle qui correspond à vos besoins.
Étape 3 : Commencez votre essai gratuit
Commencez votre essai gratuit pour explorer les capacités du modèle sélectionné.
Essayez Qwen 3 235B A22B maintenant !
Étape 4 : Obtenez votre clé API
Pour vous authentifier avec l’API, nous vous fournirons une nouvelle clé API. En accédant à la page « Paramètres », vous pouvez copier la clé API comme indiqué dans l’image.
Étape 5 : Installer l’API
Installez l’API à l’aide du gestionnaire de paquets spécifique à votre langage de programmation.
Après l’installation, importez les bibliothèques nécessaires dans votre environnement de développement. Initialisez l’API avec votre clé API pour commencer à interagir avec Novita AI LLM. Voici un exemple d’utilisation de l’API de complétion de chat pour les utilisateurs Python.
from openai import OpenAI
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<YOUR Novita AI API Key>",
)
model = "qwen/qwen3-235b-a22b-fp8"
stream = True # or False
max_tokens = 2048
system_content = """Be a helpful assistant"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
Option 2 : Flux de travail multi-agents avec OpenAI Agents SDK
Le OpenAI Agents SDK est une évolution de niveau production du projet SWARM d’OpenAI, conçue pour simplifier le développement d’agents IA intelligents, collaboratifs et sécurisés. À son cœur se trouvent des agents basés sur LLM qui peuvent être configurés avec des instructions personnalisées, des rôles et des outils externes. Le SDK offre des fonctionnalités puissantes telles que la conversion automatique d’outils-fonctions avec validation Pydantic, des boucles d’agents intégrées pour un retour d’information transparent, la délégation de tâches multi-agents et des garde-fous de sécurité robustes. Les développeurs bénéficient d’une orchestration native Python, d’outils de traçage intégrés pour le débogage et d’une grande personnalisabilité—le tout dans un cadre léger nécessitant une courbe d’apprentissage minimale.
1. Configurez votre environnement Python et installez le SDK Agents.
python -m venv env
source env/bin/activate
pip install openai-agents
2. Configurez votre clé API Novita.
Allez dans la console et obtenez 10 crédits
3. Un exemple de transfert (handoffs)
import os
from openai import AsyncOpenAI
from agents import (
Agent,
Runner,
set_default_openai_api,
set_default_openai_client,
set_tracing_disabled,
)
BASE_URL = "https://api.novita.ai/v3/openai"
API_KEY = os.getenv("NOVITA_API_KEY")
MODEL_NAME = os.getenv("MODEL_NAME")
# Because Novita not support the responses API so we use the chat completions API instead.
set_default_openai_api("chat_completions")
set_default_openai_client(AsyncOpenAI(base_url=BASE_URL, api_key=API_KEY))
# Disable tracing for this example
# Refer to https://openai.github.io/openai-agents-python/tracing/#external-tracing-processors-list to use the custom spans.
set_tracing_disabled(disabled=True)
agent = Agent(name="Assistant",
instructions="You are a helpful assistant", model=MODEL_NAME)
result = Runner.run_sync(
agent, "Write a haiku about recursion in programming.")
print(result.final_output)
# Code within the code,
# Functions calling themselves,
# Infinite loop's dance.
Option 3 : Intégration tierce de l’API Qwen 3
1. Intégration HuggingFace
Étape 1 : Configurez les clés API sur Hugging Face
- Accédez au tableau de bord des paramètres de votre compte pour configurer vos clés API.
- Saisissez vos identifiants d’authentification Novita AI sur la plateforme Hugging Face.
Étape 2 : Choisissez les modes d’API d’inférence
- Mode clé personnalisée : les appels sont envoyés directement au fournisseur d’inférence, en utilisant votre propre clé API.
- Mode routé HF : dans ce mode, aucun jeton de fournisseur n’est requis. Les frais sont appliqués à votre compte Hugging Face au lieu du compte du fournisseur.
Étape 3 : Cliquez sur le bouton des paramètres, choisissez Novita AI comme fournisseur d’API
2. Intégration d’agent/cadre avec Novita AI
Novita AI est un partenaire de premier ordre avec de nombreux frameworks d’agents populaires.
Vous pouvez sélectionner directement Novita comme fournisseur au sein des plateformes. Chacun est livré avec des connecteurs officiels et des guides étape par étape, ce qui rend l’intégration fluide pour les flux de travail multi-agents, les agents appelant des outils et les tâches d’orchestration complexes.
3. Intégration d’API compatible OpenAI
Pour les outils construits sur le standard de l’API OpenAI, Novita AI fournit un remplacement direct—Tout ce dont vous avez besoin est une URL de base et une clé API. Cette méthode nécessite zéro refactoring et prend en charge la migration instantanée pour les applications utilisant déjà des appels compatibles OpenAI.
Questions fréquemment posées
Qu’est-ce que Qwen 3 235B A22B ?
Un modèle de langage MoE de pointe d’Alibaba avec 235 milliards de paramètres (22 milliards actifs par passage avant), excellent en logique, mathématiques et tâches multilingues.
Pourquoi ne puis-je pas exécuter Qwen 3 235B A22B localement ?
Il nécessite ~1128 Go de VRAM—bien au-delà du matériel grand public. Vous auriez besoin de 16× GPU A100 ou H100.
Existe-t-il un essai gratuit pour utiliser Qwen 3 235B A22B ?
Oui. Novita AI propose des crédits gratuits pour explorer le modèle avant de s’engager.
Novita AI est une plateforme cloud IA qui offre aux développeurs un moyen simple de déployer des modèles IA en utilisant notre API simple, tout en fournissant un cloud GPU abordable et fiable pour construire et passer à l’échelle.
