Guide pas à pas : Exécuter Gemma 7B sur les instances GPU de Novita AI

Le Gemma 7B de Google a suscité un intérêt considérable en tant que modèle de langage open source efficace et puissant. Ce guide vous accompagnera dans le déploiement de Gemma 7B sur les instances GPU de Novita AI, le rendant accessible pour diverses applications.

Qu’est-ce que Gemma 7B ?

Gemma 7B fait partie de la famille de modèles de langage légers et open source de Google, construits avec la même technologie que les modèles Gemini. Il est conçu pour être plus accessible et déployable sur diverses plateformes matérielles, notamment les ordinateurs portables et de bureau, tout en étant optimisé pour les GPU NVIDIA et les TPU Google Cloud. Gemma 7B possède 7 milliards de paramètres et est entraîné sur un ensemble de données composé principalement de documents web, de mathématiques et de code. Il utilise une architecture de transformeur à décodeur seul avec une attention multi-têtes, ce qui le rend efficace pour des tâches telles que la génération de code, le raisonnement mathématique et la compréhension du langage.

Pourquoi utiliser Gemma 7B sur Novita AI ?

Novita AI propose une plateforme cloud avec des instances GPU haute performance conçues pour les charges de travail d’IA, ce qui en fait un choix idéal pour exécuter des modèles comme Gemma 7B. Exécuter Gemma 7B sur les instances GPU de Novita AI offre plusieurs avantages :

• Performance : Les GPU puissants de Novita AI garantissent que Gemma 7B peut fonctionner efficacement, en gérant des tâches complexes avec des performances élevées.
• Accessibilité : La nature légère de Gemma 7B permet de le déployer sur divers matériels, mais l’utilisation des instances GPU de Novita AI peut améliorer encore ses capacités.
• Rentabilité : L’utilisation de ressources GPU cloud peut être plus rentable que la maintenance d’un matériel local pour le déploiement de modèles d’IA à grande échelle.

Déploiement avec les modèles Gemma 7B sur Novita AI

Prérequis

• Compte Novita AI : Assurez-vous d’avoir un compte actif sur Novita AI.
• Un jeton API Hugging Face : Vous devez créer un compte sur huggingface.co et générer un jeton d’accès avec les autorisations appropriées pour interagir avec le dépôt du modèle Gemma.
• Connaissances de base : Compréhension des API REST, travail avec des conteneurs Docker, et familiarité avec les fondamentaux du calcul GPU.

Guide de déploiement pas à pas pour l’implémentation de Gemma 7B

Étape 1 : Accès à la plateforme Novita AI

1. Visitez le site officiel de Novita AI : https://novita.ai/

[Essayez Novita AI maintenant](https://novita.ai/gpus/?utm_source=blogs_GPU&utm_medium=article&utm_campaign=Step-by-Step Guide: Running Gemma 7B on Novita AI GPU Instances)

2. Inscrivez-vous sur Novita AI via Google, GitHub ou l’authentification par e-mail.

3. Naviguez vers “GPUs” dans la barre de menu supérieure et sélectionnez “Get Started” pour commencer le processus de déploiement.

Étape 2 : Déployer Gemma 7B sur une instance GPU

1. Cliquez sur “Create My Template”.

2. Configurez les paramètres de déploiement :

• Template Name: Saisissez un nom descriptif pour votre modèle (par exemple, “Gemma 7b”).
• Container Image: Saisissez vllm/vllm-openai:latest (ou votre image personnalisée le cas échéant).
• Container Start Command: Spécifiez le modèle à utiliser : --model google/gemma-7b-it --max-model-len 4096 –port 8000
• Container Desk: Définissez une taille de stockage appropriée.
• Expose HTTP Ports: Utilisez 8000, qui est le port standard pour servir les modèles.
• Environment Variables: Nom : HF_TOKEN ; Valeur : Votre jeton d’accès Hugging Face.

Après avoir terminé les étapes de configuration ci-dessus, cliquez sur “Save Template” pour enregistrer vos paramètres dans le modèle.

N’oubliez pas d’accéder aux modèles Gemma sur Hugging Face :

1. Connectez-vous à votre compte Hugging Face.
2. Visitez la page du modèle Gemma (google/gemma-7b-it).
3. Cliquez sur le bouton “Acknowledge license”.
4. Acceptez les conditions pour obtenir un accès immédiat aux fichiers et au contenu du modèle.

3. Après avoir terminé les étapes de configuration ci-dessus, cliquez sur “Save Template” pour enregistrer vos paramètres dans le modèle.

Étape 3 : Personnaliser le déploiement

Dans ce guide, vous devez configurer le nombre de GPU requis. En prenant l’exemple d’un seul RTX 4090 :

1. Sélectionnez la configuration GPU “1x RTX 4090 24GB”.

2. Cliquez sur “Depoly”.

3. Cliquez sur “Next”.

Étape 4 : Lancer une instance

1. Cliquez sur “Depoly” pour déployer votre environnement configuré.

Attendez quelques minutes pendant que l’instance est configurée et gérée.

2. Une fois l’instance démarrée, elle commence à télécharger le modèle. Cliquez sur “Logs” --> “Instance Logs” pour surveiller la progression du téléchargement du modèle.

Lorsque le journal affiche “INFO: Application startup complete”, le démarrage est réussi. Accédez maintenant à votre modèle privé !

3. Cliquez sur “Connect”, puis cliquez sur --> “Connect to HTTP Service [Port 8000]”. Comme il s’agit d’un service API, vous devez copier l’adresse.

Pour envoyer des requêtes à votre modèle privé, remplacez “http://7a65a32b51e37482-8000.jp-tyo-1.gpu-instance.novita.ai” par votre adresse exposée réelle. Copiez le code suivant pour accéder à votre modèle privé !

$ curl http://7a65a32b51e37482-8000.jp-tyo-1.gpu-instance.novita.ai/v1/chat/completions  \
   -H "Content-Type: application/json"     -d '{
        "model": "google/gemma-7b-it",
        "messages": [{"role": "user", "content": "hello"}]
    }'
{"id":"chatcmpl-57b3296f87f54dd4b69cfb6d2196f48e","object":"chat.completion","created":1740711405,"model":"google/gemma-7b-it","choices":[{"index":0,"message":{"role":"assistant","content":"Alright, the user said \"hello.\" That's a friendly greeting. I should respond in a welcoming manner.\
\
Maybe I can acknowledge their greeting and offer assistance.\
\
It's important to sound approachable and ready to help.\
\
I'll keep it simple and polite.\
 response\
\
Hello! How can I assist you today?","tool_calls":[]},"logprobs":null,"finish_reason":"stop","stop_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":70,"completion_tokens":64,"prompt_tokens_details":null},"prompt_logprobs":null}

4. Configurez l’adresse API dans vos applications comme Chatbox, et vous aurez votre propre assistant personnel !

[Novita AI](https://novita.ai/?utm_source=blogs_GPU&utm_medium=article&utm_campaign=Step-by-Step Guide: Running Gemma 7B on Novita AI GPU Instances) est une plateforme cloud IA qui offre aux développeurs un moyen simple de déployer des modèles d’IA via notre API simple, tout en fournissant un cloud GPU abordable et fiable pour construire et passer à l’échelle.