Les développeurs peuvent-ils déployer Qwen3.5-397B-A17B localement en conditions réelles ? Réponse brève : Pas sur du matériel grand public en pleine précision. Ce modèle MoE multimodal massif de 403,4 milliards de paramètres nécessite 793 Go de VRAM en BF16, ce qui le place solidement dans le territoire des clusters d’entreprise. Pour la plupart des développeurs, l’API Novita Severless est l’alternative pratique — pas de configuration matérielle nécessaire.
Réponse rapide : Le BF16 complet nécessite 10×GPU H100 (25,9 $/h sur Novita AI). Pour un déploiement pratique, utilisez la quantification 4 bits sur 2×H100 80 Go. Si vous construisez une application de production, commencez avec l’API Novita AI à 0,60 $/3,60 $ par million de tokens.
Essayez le GPU économique maintenant !
Besoins en VRAM de Qwen3.5-397B-A17B
| Précision | VRAM/RAM requise |
|---|---|
| BF16 (Complet) | 793 Go |
| Q8_0 | 422 Go |
| Q4_K_S | 228 Go |
| Q3_K_S | 164 Go |
Configurations GPU recommandées pour Qwen3.5-397B-A17B
| Configuration | Précision | Coût (Novita AI) | Meilleur pour |
|---|---|---|---|
| 10×H100 SXM 80 Go | BF16 | 25,9 $/h à la demande, 13 $/h spot | Production haut volume (1 M+ tokens/jour) |
| 6×H100 SXM 80 Go | Q8_0 | 15,54 $/h à la demande, 7,8 $/h spot | Applications moyennes (100k-500k tokens/jour) |
Essayez le GPU économique maintenant !
Prérequis pour une configuration multi-GPU
Le parallélisme tensoriel est obligatoire pour le déploiement multi-GPU. Voici ce dont vous avez besoin au-delà de la VRAM brute :
- NVLink/NVSwitch : Requis pour une communication inter-GPU efficace sur les configurations H100/A100. Les configurations uniquement PCIe subiront un goulot d’étranglement à 15-20 tokens/seconde quel que soit le nombre de GPU.
- vLLM ou TGI : Utilisez le parallélisme tensoriel de vLLM (
--tp 8) ou Hugging Face Text Generation Inference pour un partitionnement automatique du modèle. - Traitement de très longs textes : Qwen3.5 prend en charge nativement des longueurs de contexte allant jusqu’à 262 144 tokens. Pour les tâches à long horizon où la longueur totale (entrée et sortie comprises) dépasse cette limite, nous recommandons d’utiliser les techniques de RoPE scaling pour traiter efficacement les longs textes, par exemple YaRN. YaRN est actuellement pris en charge par plusieurs frameworks d’inférence, ex.
transformers,vllmetsglang. Vous pouvez l’activer en modifiant les champsrope_parametersdans le fichierconfig.json:
{"mrope_interleaved": true, "mrope_section": [11, 11, 10], "rope_type": "yarn", "rope_theta": 10000000, "partial_rotary_factor": 0.25, "factor": 4.0, "original_max_position_embeddings": 262144}
- Minimum 512 Go de RAM système : Nécessaire pour le chargement du modèle, le cache KV et le prétraitement multimodal (tokenisation d’images/vidéos).
Guide de déploiement de Qwen3.5-397B-A17B
Étape 1 : Créez un compte
Créez votre compte Novita AI via notre site web. Après l’inscription, naviguez vers la section « Explorer » dans la barre latérale gauche pour voir nos offres GPU et commencer votre parcours de développement IA.
Étape 2 : Explorez les modèles et les serveurs GPU
Choisissez parmi les modèles comme PyTorch, TensorFlow ou CUDA qui correspondent à vos besoins. Sélectionnez ensuite votre configuration GPU préférée – les options incluent le puissant GPU, chacune avec des spécifications différentes de VRAM, RAM et stockage.
Étape 3 : Personnalisez votre déploiement
Personnalisez votre environnement en sélectionnant votre système d’exploitation et vos options de configuration pour garantir des performances optimales pour vos charges de travail IA spécifiques et vos besoins de développement.
Essayez le GPU économique maintenant !
En plus du modèle de tarification standard à la demande, Novita AI propose également le mode Spot, une option GPU significativement moins chère conçue pour les charges de travail sensibles aux coûts. Contrairement aux instances à la demande, qui réservent du matériel dédié pour une utilisation stable et continue, les instances Spot sont interruptibles – votre tâche peut être suspendue ou arrêtée si le GPU est réclamé par le système. Comme le mode Spot réaffecte des ressources GPU autrement inutilisées, il est généralement 40 à 60 % moins cher que le prix à la demande.
Pièges courants du déploiement
1. Dépassement de la longueur du contexte
Problème : Le contexte natif de 262k est souvent insuffisant pour le RAG sur documents longs ou l’analyse vidéo. Le dépasser entraîne une dégradation de la qualité.
Solution : Activez YaRN RoPE scaling pour étendre à 1 M+ tokens :
YaRN est actuellement pris en charge par plusieurs frameworks d’inférence, ex. transformers, vllm, ktransformers et sglang. En général, il existe deux approches pour activer YaRN dans les frameworks pris en charge :
- Modification du fichier de configuration du modèle : Dans le fichier
config.json, modifiez les champsrope_parametersdanstext_configavec :
{
"mrope_interleaved": true,
"mrope_section": [
11,
11,
10
],
"rope_type": "yarn",
"rope_theta": 10000000,
"partial_rotary_factor": 0.25,
"factor": 4.0,
"original_max_position_embeddings": 262144,
}
- Passage d’arguments en ligne de commande :
Pour vllm, vous pouvez utiliser
VLLM_ALLOW_LONG_MAX_MODEL_LEN=1 vllm serve ... --hf-overrides '{"text_config": {"rope_parameters": {"mrope_interleaved": true, "mrope_section": [11, 11, 10], "rope_type": "yarn", "rope_theta": 10000000, "partial_rotary_factor": 0.25, "factor": 4.0, "original_max_position_embeddings": 262144}}}' --max-model-len 1010000
Pour sglang et ktransformers, vous pouvez utiliser
SGLANG_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN=1 python -m sglang.launch_server ... --json-model-override-args '{"text_config": {"rope_parameters": {"mrope_interleaved": true, "mrope_section": [11, 11, 10], "rope_type": "yarn", "rope_theta": 10000000, "partial_rotary_factor": 0.25, "factor": 4.0, "original_max_position_embeddings": 262144}}}' --context-length 1010000
2. Pièges de la quantification
Problème : Le GGUF 3 bits peut perdre la fidélité multimodale – les tâches vision-langage se dégradent notablement.
Solution : Utilisez INT4 GPTQ/AWQ pour un meilleur équilibre. Exécutez toujours des benchmarks de vision après quantification avant de déployer.
3. Goulots d’étranglement NVLink
Problème : Les configurations multi-GPU sans NVLink atteignent les limites de bande passante PCIe (plafond de 15-20 tokens/seconde).
Solution : Utilisez H100/A100 avec NVSwitch pour un débit de 45+ tokens/seconde. Évitez les GPU grand public pour les configurations multi-GPU de production.
Si vous souhaitez exécuter Qwen3.5-397B-A17B localement : 10×H100 80 Go avec NVLink (25,9 $/h à la demande)
Si c’est trop cher : Utilisez l’API Novita AI à 0,60 $/3,60 $ par million de tokens avec zéro frais d’exploitation.
Conclusion
Exécuter Qwen3.5-397B-A17B localement est techniquement possible, mais la barre matérielle est extrêmement haute — 793 Go de VRAM en BF16 le place résolument en territoire de cluster d’entreprise. Pour la plupart des développeurs et des équipes, l’API Novita AI offre les mêmes performances de pointe à une fraction du coût, sans frais d’infrastructure. Que vous construisiez des pipelines d’agents, exécutiez de l’inférence à grande échelle ou exploriez simplement les capacités du modèle, la voie de l’API vous y amène plus rapidement.
Essayez le GPU économique maintenant !
Questions fréquemment posées
Puis-je exécuter Qwen3.5-397B-A17B sur un seul RTX 4090 ?
Non. Même avec une quantification 3 bits, le modèle nécessite plus de 165 Go de VRAM — les 24 Go du RTX 4090 sont insuffisants d’un ordre de grandeur.
Quelle est la configuration GPU minimale pour un déploiement en production ?
10×H100 80 Go en BF16 pour une fidélité complète, ou 6×H100 en INT8 pour une production optimisée en coût. Tout ce qui est plus petit risque des goulots d’étranglement de débit ou une dégradation de la qualité sur les tâches multimodales.
Combien coûte l’exécution de Qwen3.5-397B-A17B pour 1 million de tokens ?
API Novita AI : 4,20 $ par million de tokens (entrée+sortie mélangée).
Novita AI est une plateforme cloud IA qui offre aux développeurs un moyen simple de déployer des modèles IA via notre API simple, tout en fournissant un cloud GPU abordable et fiable pour construire et mettre à l’échelle.
Lectures recommandées
