Les petits développeurs peuvent-ils déployer DeepSeek R1 chez eux ?

Points clés

La réponse est probablement NON !

Exigences GPU élevées
Bien que DeepSeek R1 réduise les exigences GPU par rapport à d’autres modèles, elles restent relativement élevées pour une configuration domestique.
Processus de déploiement complexe
L’auto-déploiement implique la configuration d’architectures IA, ce qui peut être long et difficile pour les développeurs individuels.
Novita AI comme alternative
Novita AI propose des services Cloud GPU et des solutions API très rentables, permettant aux développeurs d’accéder à DeepSeek R1 sans avoir besoin de matériel spécialisé ou de configurations complexes.

DeepSeek R1 est un modèle avancé de raisonnement IA reconnu pour ses capacités de pointe et son accessibilité open source. Développé par une équipe de recherche chinoise, il est conçu pour répondre à une large gamme d’applications, allant des tâches légères aux opérations complexes au niveau entreprise. Mais quel type de matériel est nécessaire pour déployer ce modèle de niveau OpenAI-o1 ? Peut-il fonctionner sur l’ordinateur d’un développeur individuel ? Cet article vous dévoilera les réponses.

Introduction

• Date de sortie : 21 janvier 2025
• Échelle du modèle :
  • deepseek/deepseek-r1 (671b)
  • deepseek/deepseek-r1-distill-llama-8b
  • deepseek/deepseek-r1-distill-qwen-14b
  • deepseek/deepseek-r1-distill-qwen-32b
  • deepseek/deepseek-r1-distill-llama-70b
• Fonctionnalités clés :
  • Taille du modèle : 671B paramètres (37B actifs/token)
  • Open Source
  • Tokeniseur : Tokeniseur amélioré avec balises d’auto-réflexion
  • Langues prises en charge : Multilingue avec adaptation culturelle
  • Multimodal : Texte uniquement
  • Fenêtre de contexte : 128K tokens
  • Formats de stockage : Prise en charge de la quantification Q8/Q5
  • Architecture : Mixture of Experts (MoE) + pipeline d’entraînement amélioré par RL
  • Méthode d’entraînement : Basé sur V3 avec pipeline RL (SFT → RL → SFT → RL)
  • Données d’entraînement : Base V3 + données d’optimisation RL

Exigences matérielles détaillées et GPU recommandé

Modèle	Taille des paramètres	Configuration GPU
DeepSeek-R1-Distill-Llama-8B	4,9B	1 x NVIDIA RTX 4090 (24 Go VRAM) avec partitionnement de modèle
DeepSeek-R1-Distill-Qwen-14B	9,0B	1 x NVIDIA A100 (40 Go VRAM) ou 2 x RTX 4090 (24 Go VRAM) avec parallélisme tensoriel
DeepSeek-R1-Distill-Qwen-32B	32B	2 x NVIDIA A100 (40 Go VRAM) ou 1 x NVIDIA H100 (80 Go VRAM) ou 4 x RTX 4090 (24 Go VRAM) avec parallélisme tensoriel
DeepSeek-R1-Distill-Llama-70B	70B	4 x NVIDIA A100 (40 Go VRAM) ou 2 x NVIDIA H100 (80 Go VRAM) ou 8 x RTX 4090 (24 Go VRAM) avec parallélisme lourd
DeepSeek-R1:671b	671B (37 milliards de paramètres actifs)	16 x NVIDIA A100 (40 Go VRAM) ou 8 x NVIDIA H100 (80 Go VRAM), nécessite un cluster GPU distribué avec InfiniBand

1.8B (8 milliards de paramètres)

• Inférence :
  • GPU :
    • 1x NVIDIA RTX 4090 (24 Go VRAM chacun) avec partitionnement de modèle.
  • CPU : CPU multicœur haut de gamme (par ex., AMD Ryzen 9 5900X ou Intel i9-12900K).
  • RAM : Au moins 64 Go de mémoire système.
  • Espace disque : ~20 Go pour les poids du modèle.

2. 14B (14 milliards de paramètres)

• Inférence :
  • GPU :
    • 1 x NVIDIA A100 (40 Go VRAM chacun)
    • Ou, 2 x RTX 4090 (24 Go VRAM chacun) avec parallélisme tensoriel.
  • CPU : CPU multicœur de qualité serveur (par ex., AMD EPYC 7003 ou Intel Xeon Platinum).
  • RAM : 128 Go de mémoire système.
  • Espace disque : ~35 Go pour les poids du modèle.

3. 32B (32 milliards de paramètres)

• Inférence :
  • GPU :
    • 2 x NVIDIA A100 (40 Go VRAM chacun) ou 1 x NVIDIA H100 (80 Go VRAM chacun).
    • Ou, 4 x RTX 4090 (24 Go VRAM chacun) avec parallélisme tensoriel.
  • CPU : CPU multicœur haute performance de qualité serveur.
  • RAM : 256 Go de mémoire système.
  • Espace disque : ~80 Go pour les poids du modèle.

4. 70B (70 milliards de paramètres)

• Inférence :
  • GPU :
    • 4 x NVIDIA A100 (40 Go VRAM chacun) ou 2 x NVIDIA H100 (80 Go VRAM chacun).
    • Ou, 8 x RTX 4090 (24 Go VRAM chacun) avec parallélisme lourd.
  • CPU : CPU multicœur de qualité serveur (par ex., AMD EPYC ou Intel Xeon Platinum).
  • RAM : 512 Go de mémoire système.
  • Espace disque : ~160 Go pour les poids du modèle.

5. 671B (671 milliards de paramètres)-37 milliards de paramètres actifs

• Inférence :
  • GPU :
    • 16 x NVIDIA A100 (40 Go VRAM chacun), ou 8 x NVIDIA H100 (80 Go VRAM chacun)
    • Nécessite un cluster GPU distribué avec InfiniBand pour la communication.
  • CPU : CPU serveur multicœur haut de gamme sur plusieurs nœuds. Exemple : AMD EPYC 7003 ou Intel Xeon 4e génération.
  • RAM : ~8 To de mémoire système répartie sur les nœuds.
  • Espace disque : ~1,5 To pour les poids du modèle.

Grâce à des technologies comme Mixture of Experts (MoE) et l’entraînement distribué, DeepSeek R1 nécessite beaucoup moins de matériel que d’autres modèles. Cependant, même si seule une partie des paramètres peut être activée lors de l’utilisation pour réduire les coûts de calcul, l’ensemble complet des paramètres doit toujours être stocké lors du déploiement. Cela se traduit par des exigences matérielles élevées, ce qui rend son déploiement difficile pour les développeurs individuels.

Défis pour les serveurs domestiques et méthodes d’optimisation

L’exécution de modèles avancés comme DeepSeek R1 (671B) sur des serveurs domestiques présente plusieurs défis en raison des importantes exigences matérielles :

Défis pour les serveurs domestiques

• Exigences élevées en VRAM : Les modèles plus grands, comme le DeepSeek R1 complet, nécessitent une VRAM substantielle, souvent des configurations multi-GPU, ce qui est généralement peu pratique pour les serveurs domestiques.
• Alimentation et refroidissement : Les GPU haut de gamme consomment beaucoup d’énergie et génèrent une chaleur importante, nécessitant des alimentations robustes et des solutions de refroidissement efficaces.
• Compatibilité matérielle : La configuration de systèmes multi-GPU nécessite une planification minutieuse pour assurer la compatibilité entre GPU, cartes mères et autres composants système.
• Coût : Le prix élevé des GPU de pointe et du matériel de support peut être prohibitif pour les utilisateurs individuels, rendant ces configurations inaccessibles pour beaucoup.

Méthodes d’optimisation

Pour relever ces défis, plusieurs techniques d’optimisation peuvent aider à réduire les exigences matérielles :

• Quantification : Réduire la précision des poids du modèle (par ex., en utilisant une quantification 4 bits) peut considérablement réduire les besoins en VRAM tout en maintenant des performances acceptables.
• Distillation : Utiliser des versions distillées plus petites du modèle original peut réduire les besoins matériels tout en préservant une grande partie des performances du modèle.
• Déchargement : Répartir les charges de travail entre GPU, CPU et RAM peut permettre aux modèles de fonctionner sur des systèmes avec moins de VRAM, au prix d’une vitesse de traitement plus lente.
• Optimisation de l’inférence : Ajuster les tailles de lots, affiner les paramètres de traitement et tirer parti de bibliothèques optimisées peut améliorer les performances sur du matériel aux capacités limitées.

En combinant ces méthodes d’optimisation, il est possible d’atténuer les défis associés à l’exécution de grands modèles comme DeepSeek R1 sur des serveurs domestiques, bien que des compromis en termes de performance et d’efficacité puissent encore être inévitables.

Une option plus pratique – GPU Cloud

Acheter un GPU peut être coûteux, mais utiliser un GPU cloud est une option bien plus pratique et économique. Vous ne payez que pour ce que vous utilisez, et vous n’avez pas à vous soucier de la configuration du GPU ou de l’optimisation des frameworks d’inférence. Ainsi, vous pouvez vous concentrer entièrement sur l’utilisation du modèle sans vous préoccuper des détails techniques.

Novita AI propose désormais une variété de modèles GPU, tels que RTX 4090, A100, H100, et plus encore. Nos prix sont parmi les plus compétitifs du marché.

Essayez de déployer un GPU maintenant !

La méthode la plus pratique – API

Novita AI est une plateforme cloud IA qui offre aux développeurs un moyen simple de déployer des modèles IA via notre API, tout en fournissant un GPU cloud abordable et fiable pour construire et passer à l’échelle.

Étape 1 : Connectez-vous et accédez à la bibliothèque de modèles

Connectez-vous à votre compte et cliquez sur le bouton Bibliothèque de modèles.

Étape 2 : Choisissez votre modèle

Parcourez les options disponibles et sélectionnez le modèle qui correspond à vos besoins.

Étape 3 : Démarrez votre essai gratuit

Commencez votre essai gratuit pour explorer les capacités du modèle sélectionné.

Essayez la démo DeepSeek R1 maintenant !

Étape 4 : Obtenez votre clé API

Pour vous authentifier auprès de l’API, nous vous fournirons une nouvelle clé API. En accédant à la page « Paramètres », vous pouvez copier la clé API comme indiqué sur l’image.

Étape 5 : Installez l’API

Installez l’API à l’aide du gestionnaire de paquets spécifique à votre langage de programmation.

Après l’installation, importez les bibliothèques nécessaires dans votre environnement de développement. Initialisez l’API avec votre clé API pour commencer à interagir avec Novita AI LLM. Voici un exemple d’utilisation de l’API chat completions pour les utilisateurs Python.

from openai import OpenAI
  
client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    api_key="<VOTRE_CLÉ_API_Novita_AI>",
)

model = "deepseek/deepseek_r1"
stream = True # ou False
max_tokens = 2048
system_content = """Soyez un assistant utile"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": system_content,
        },
        {
            "role": "user",
            "content": "Bonjour !",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
    temperature=temperature,
    top_p=top_p,
    presence_penalty=presence_penalty,
    frequency_penalty=frequency_penalty,
    response_format=response_format,
    extra_body={
      "top_k": top_k,
      "repetition_penalty": repetition_penalty,
      "min_p": min_p
    }
  )

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)
  

Lors de l’inscription, Novita AI offre un crédit de 0,50 $ pour commencer !

Si le crédit gratuit est épuisé, vous pouvez payer pour continuer à l’utiliser.

DeepSeek R1 offre de puissantes capacités de raisonnement IA, mais ses exigences matérielles peuvent varier considérablement selon le modèle et sa taille. Les modèles à grande échelle nécessitent des configurations multi-GPU haut de gamme, tandis que les versions distillées offrent une option plus accessible pour les utilisateurs disposant de ressources limitées. Pour ceux qui ne disposent pas de matériel spécialisé, l’utilisation de DeepSeek R1 via une API constitue une solution pratique et efficace. En comprenant ses besoins matériels et les stratégies d’optimisation disponibles, les développeurs et chercheurs peuvent exploiter DeepSeek R1 efficacement pour répondre à leurs besoins spécifiques.

Foire aux questions

Quelle est la méthodologie d’entraînement derrière DeepSeek R1 ?

DeepSeek R1 utilise un pipeline d’entraînement en plusieurs étapes. DeepSeek-R1-Zero est entraîné en utilisant l’apprentissage par renforcement (RL) à grande échelle directement sur le modèle de base, sans Supervised Fine-Tuning (SFT) initial.

Quelles sont les meilleures pratiques pour interroger DeepSeek R1 afin d’obtenir des performances optimales ?

Pour obtenir les meilleures performances avec DeepSeek R1, évitez d’ajouter un prompt système et incluez toutes les instructions dans le prompt utilisateur.

Novita AI est la plateforme cloud tout-en-un qui dynamise vos ambitions IA. API intégrées, serverless, instance GPU — les outils rentables dont vous avez besoin. Éliminez l’infrastructure, commencez gratuitement et faites de votre vision IA une réalité.

Lecture recommandée

• Un guide pour accéder à DeepSeek V3 : localement et via API
• DeepSeek V3 vs R1 : entraînement par étapes vs cycles itératifs SFT-RL
• Exécuter DeepSeek V3 localement : un guide pour les développeurs