Exigences VRAM de la série Qwen 3.5 Medium : guide de déploiement GPU 27B, 35B, 122B

La série Qwen 3.5 Medium (27B, 35B-A3B, 122B-A10B) propose des modèles de langage de qualité professionnelle avec des besoins VRAM variables :

• 27B : 17-54 Go (Q4_K_M à BF16)
• 35B-A3B : 22-69 Go (Q4_K_M à BF16)
• 122B-A10B : 77-244 Go (Q4_K_M à BF16)

Déployez sur Novita AI avec des options GPU flexibles (H100, RTX 5090, RTX 4090) ou une API serverless pour une gestion d’infrastructure zéro.

Qu’est-ce que la série Qwen 3.5 Medium ?

La série Qwen 3.5 Medium comprend trois modèles de langage haute performance conçus pour des applications de production :

• Qwen3.5-27B : 27B paramètres, performances équilibrées pour les tâches générales
• Qwen3.5-35B-A3B : 35B paramètres au total avec 3B actifs par jeton (architecture MoE)
• Qwen3.5-122B-A10B : 122B paramètres au total avec 10B actifs par jeton (architecture MoE)

Ces modèles excellent dans le raisonnement, le codage, la compréhension multilingue et le traitement de longs contextes.

Comprendre les besoins VRAM est essentiel pour un déploiement rentable — que vous utilisiez des GPU dédiés ou une infrastructure serverless.

Besoins VRAM par modèle et précision

Les besoins VRAM varient considérablement selon la précision de quantification. Vous trouverez ci-dessous les besoins mémoire basés sur les données de compatibilité matérielle de Hugging Face.

⚠️ Remarque : ces chiffres représentent les tailles de poids du modèle. L’utilisation réelle de la VRAM pendant l’inférence sera 10 à 30 % plus élevée selon la taille du lot, la longueur du contexte et la surcharge du cache KV. Nous recommandons de choisir des GPU avec au moins 10 à 20 % de marge.

Qwen3.5-27B-GGUF

Quantification	VRAM (Go)	Matériel recommandé
BF16	54	GPU : A100 × 1 (80 Go) / H100 × 1 (80 Go)
Q8_0	29	CPU : Intel Sapphire Rapids 16× vCPUs · 32 Go RAM GPU : A100 40 Go / RTX 4090 24 Go (inférence plus rapide)
Q4_K_M	17	CPU : Intel Sapphire Rapids 16× vCPUs · 32 Go RAM GPU : RTX 4090 24 Go / L40S 48 Go (inférence plus rapide)

💡 CPU vs GPU : en précision Q8_0 et Q4_K_M, le modèle tient dans les limites de RAM CPU modernes (32-64 Go). Cependant, l’inférence GPU est 10 à 50 fois plus rapide selon la taille du lot. Pour les charges de travail de production nécessitant une faible latence ou un débit élevé, le déploiement GPU est fortement recommandé.

Qwen3.5-35B-A3B-GGUF

Quantification	VRAM (Go)	Matériel recommandé
BF16	69	GPU : A100 × 1 (80 Go) / H100 × 1 (80 Go)
Q8_0	37	GPU : L40S × 1 (48 Go) / A100 40 Go
Q4_K_M	22	CPU : Intel Sapphire Rapids 16× vCPUs · 32 Go RAM GPU : RTX 4090 24 Go / L40S 48 Go (inférence plus rapide)

Qwen3.5-122B-A10B-GGUF

Quantification	VRAM (Go)	Matériel recommandé
BF16	244	GPU : A100 × 4 (320 Go) / H100 × 4 (320 Go)
Q8_0	130	GPU : A100 × 2 (160 Go) / H100 × 2 (160 Go)
Q4_K_M	77	GPU : A100 × 1 (80 Go) / H100 × 1 (80 Go)

💡 Remarque : le modèle 122B nécessite des GPU haut de gamme même avec une quantification agressive en raison de sa taille. Les configurations multi-GPU sont essentielles pour les précisions BF16 et Q8_0.

Déploiement sur Novita AI

Novita AI propose des options de déploiement flexibles pour la série Qwen 3.5 Medium, équilibrant performances, coût et facilité d’utilisation.

Déploiement GPU (recommandé pour les utilisateurs axés VRAM)

Novita AI propose des GPU haute performance optimisés pour le déploiement des modèles Qwen 3.5 avec une facturation flexible :

Configurations GPU recommandées

Modèle	Quantification	VRAM nécessaire	GPU recommandé	Cas d’usage
27B	BF16	54 Go	H100 80 Go / RTX 5090 32 Go × 2	Production, qualité maximale
27B	Q8_0	29 Go	RTX 5090 32 Go / RTX 4090 24 Go × 2	Performances équilibrées
27B	Q4_K_M	17 Go	RTX 4090 24 Go	Inférence économique
35B-A3B	BF16	69 Go	H100 80 Go	Production, qualité maximale
35B-A3B	Q8_0	37 Go	RTX 5090 32 Go × 2 / H100 80 Go	Performances équilibrées
35B-A3B	Q4_K_M	22 Go	RTX 4090 24 Go	Inférence économique
122B-A10B	BF16	244 Go	H100 80 Go × 4	Entreprise, qualité maximale
122B-A10B	Q8_0	130 Go	H100 80 Go × 2	Performances équilibrées
122B-A10B	Q4_K_M	77 Go	H100 80 Go	Inférence économique

Pourquoi choisir le déploiement GPU Novita AI ?

Novita AI propose des options GPU à plusieurs niveaux de performances pour correspondre à votre charge de travail et à votre budget :

• GPU de qualité professionnelle : configurations VRAM élevée pour les précisions BF16 et Q8_0
• GPU grand public haute performance : rapport prix/performances équilibré pour les modèles de taille moyenne
• Options économiques : configurations abordables pour les modèles quantifiés (Q4_K_M)
• Configurations multi-GPU : évolutivité transparente de 1× à 8× GPU
• Facturation flexible : à la demande, instances spot et GPU serverless (paiement à la seconde)
• Déploiement instantané : modèles préconfigurés pour une mise en place rapide

Explorer les options GPU et les tarifs

API Serverless (alternative infrastructure zéro)

Pour les utilisateurs préférant une gestion d’infrastructure zéro, Novita AI propose des points de terminaison d’API Serverless avec des interfaces compatibles OpenAI.

Modèles pris en charge

Modèle	ID du modèle
Qwen3.5-27B	qwen/qwen3.5-27b
Qwen3.5-35B-A3B	qwen/qwen3.5-35b-a3b
Qwen3.5-122B-A10B	qwen/qwen3.5-122b-a10b

• URL de base : https://api.novita.ai/openai

Comment obtenir une clé API

1. Inscrivez-vous sur Novita AI
2. Accédez à la section API Keys dans votre tableau de bord
3. Cliquez sur Create New Key et copiez votre clé API
4. Ajoutez des crédits à votre compte pour commencer à utiliser l’API

Exemple rapide :

from openai import OpenAI

client = OpenAI(
    api_key="<Votre clé API>",
    base_url="https://api.novita.ai/openai"
)

response = client.chat.completions.create(
    model="qwen/qwen3.5-35b-a3b",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Hello, how are you?"}
    ],
    max_tokens=65536,
    temperature=0.7
)

print(response.choices[0].message.content)

Choisir la bonne précision

BF16 (pleine précision)

• Cas d’usage : environnements de production nécessitant une qualité maximale
• Compromis : besoins VRAM les plus élevés
• Idéal pour : applications d’entreprise, benchmarks de recherche

Q8_0 (quantification 8 bits)

• Cas d’usage : performances et efficacité équilibrées
• Compromis : perte de qualité d’environ 1 à 2 %, réduction de VRAM de 50 %
• Idéal pour : inférence à haut débit, production soucieuse des coûts

Q4_K_M (quantification 4 bits)

• Cas d’usage : déploiement économique sur GPU grand public
• Compromis : perte de qualité d’environ 3 à 5 %, réduction de VRAM de 70 à 75 %
• Idéal pour : développement, tests, déploiements à budget limité

Conclusion

La série Qwen 3.5 Medium propose des modèles de langage puissants pour divers besoins d’entreprise, avec des besoins VRAM allant de 17 Go (27B Q4_K_M) à 244 Go (122B BF16).

Points clés à retenir :

• Choisissez la quantification en fonction des compromis qualité/coût
• L’inférence GPU est 10 à 50 fois plus rapide que le CPU pour les charges de travail de production
• Novita AI propose un déploiement flexible : location de GPU (à la demande/spot) ou API serverless

Prochaines étapes :

1. Déterminez la taille de votre modèle et vos besoins en précision
2. Explorez les tarifs GPU ou les points de terminaison API de Novita AI
3. Déployez en quelques minutes avec des modèles préconfigurés

Novita AI est une plateforme cloud IA qui offre aux développeurs un moyen simple de déployer des modèles d’IA via notre API simple, tout en fournissant un cloud GPU abordable et fiable pour développer et mettre à l’échelle.

Questions fréquentes

Qu’est-ce que la VRAM ?

La VRAM (Video Random Access Memory) est la mémoire dédiée de votre GPU utilisée pour stocker les poids du modèle, les activations et les calculs intermédiaires pendant l’inférence. Pour les LLM comme Qwen 3.5, les besoins VRAM augmentent avec la taille du modèle et la précision — les modèles plus grands et les précisions plus élevées (par exemple BF16) nécessitent plus de VRAM que les versions quantifiées (par exemple Q4_K_M). Une VRAM insuffisante entraînera des erreurs de mémoire insuffisante ou vous obligera à utiliser l’inférence CPU, qui est nettement plus lente.

Puis-je exécuter les modèles Qwen 3.5 Medium sur CPU ?

Oui, les modèles quantifiés plus petits (Q8_0 et Q4_K_M) peuvent fonctionner sur des CPU avec 32 à 64 Go de RAM. Cependant, l’inférence CPU est 10 à 50 fois plus lente que le GPU, ce qui la rend peu pratique pour les charges de travail de production ou les applications en temps réel. Pour des performances optimales, le déploiement GPU est fortement recommandé même pour les modèles quantifiés.

Quelle est la différence entre BF16, Q8_0 et Q4_K_M ?

BF16 (16 bits) est une précision totale avec une qualité maximale mais une utilisation VRAM la plus élevée. Q8_0 (8 bits) réduit la VRAM d’environ 50 % avec une perte de qualité minimale (~1-2 %). Q4_K_M (4 bits) réduit la VRAM de 70 à 75 % mais peut introduire une dégradation de qualité de 3 à 5 % — idéal pour les déploiements soucieux des coûts où de légers compromis de précision sont acceptables.