Schritt-für-Schritt-Anleitung: Gemma 7B auf Novita AI GPU-Instanzen ausführen

Das Gemma 7B von Google hat als effizientes und leistungsstarkes Open-Source-Sprachmodell große Aufmerksamkeit erregt. Diese Anleitung führt Sie durch den Einsatz von Gemma 7B auf Novita AI GPU-Instanzen und macht es für verschiedene Anwendungen zugänglich.

Was ist Gemma 7B?

Gemma 7B gehört zu Googles Familie leichter, quelloffener Sprachmodelle, die auf der gleichen Technologie wie die Gemini-Modelle basieren. Es ist so konzipiert, dass es auf verschiedenen Hardware-Plattformen, einschließlich Laptops und Desktops, zugänglich und einsetzbar ist, aber auch für NVIDIA GPUs und Google Cloud TPUs optimiert wurde. Gemma 7B hat 7 Milliarden Parameter und wird hauptsächlich auf einem Datensatz aus Webdokumenten, Mathematik und Code trainiert. Es verwendet eine reine Decoder-Transformer-Architektur mit Multi-Head-Attention, was es für Aufgaben wie Codegenerierung, mathematisches Schlussfolgern und Sprachverständnis effizient macht.

Warum Gemma 7B auf Novita AI nutzen?

Novita AI bietet eine cloudbasierte Plattform mit leistungsstarken GPU-Instanzen, die für KI-Workloads ausgelegt sind – eine ideale Wahl für den Betrieb von Modellen wie Gemma 7B. Der Einsatz von Gemma 7B auf Novita AI GPU-Instanzen bietet mehrere Vorteile:

• Leistung: Die leistungsstarken GPUs von Novita AI stellen sicher, dass Gemma 7B effizient arbeiten und komplexe Aufgaben mit hoher Performance bewältigen kann.
• Zugänglichkeit: Die leichte Bauweise von Gemma 7B ermöglicht den Einsatz auf unterschiedlicher Hardware; die Nutzung der GPU-Instanzen von Novita AI kann die Fähigkeiten jedoch weiter verbessern.
• Kosteneffizienz: Die Nutzung cloudbasierter GPU-Ressourcen kann kostengünstiger sein als die lokale Bereitstellung von Hardware für KI-Modelle im großen Maßstab.

Bereitstellung mit Gemma 7B Templates auf Novita AI

Voraussetzungen

• Novita AI Konto: Stellen Sie sicher, dass Sie ein aktives Konto bei Novita AI haben.
• Ein Hugging Face API-Token: Sie benötigen ein Konto auf huggingface.co und müssen einen Zugriffstoken mit entsprechenden Berechtigungen erstellen, um mit dem Gemma-Modell-Repository zu interagieren.
• Grundkenntnisse: Verständnis von REST APIs, Arbeit mit Docker-Containern und Vertrautheit mit Grundlagen des GPU-Computings.

Schritt-für-Schritt-Anleitung zur Gemma 7B Implementierung

Schritt 1: Zugriff auf die Novita AI Plattform

1. Besuchen Sie die offizielle Website von Novita AI: https://novita.ai/

Jetzt Novita AI ausprobieren

2. Registrieren Sie sich bei Novita AI über Google, GitHub oder E-Mail-Authentifizierung.

3.Navigieren Sie im oberen Menü zu “GPUs” und wählen Sie “Get Started”, um mit der Bereitstellung zu beginnen.

Schritt 2: Gemma 7B auf einer GPU-Instanz bereitstellen

1. Klicken Sie auf “Create My Template”.

2. Konfigurieren Sie die Bereitstellungsparameter:

• Template Name: Geben Sie einen aussagekräftigen Namen für Ihr Template ein (z. B. “Gemma 7b”).
• Container Image: Geben Sie vllm/vllm-openai:latest (oder bei Bedarf Ihr eigenes Image) ein.
• Container Start Command: Geben Sie das zu verwendende Modell an: --model google/gemma-7b-it --max-model-len 4096 –port 8000
• Container Desk: Legen Sie die entsprechende Speichergröße fest.
• Expose HTTP Ports: Verwenden Sie 8000, den Standardport für Modellbereitstellung.
• Environment Variables: Name: HF_TOKEN; Wert: Ihr Huggingface-Zugriffstoken.

Nachdem Sie die obigen Konfigurationsschritte abgeschlossen haben, klicken Sie auf “Save Template”, um Ihre Einstellungen im Template zu speichern.

Denken Sie daran, auf die Gemma-Modelle auf Hugging Face zuzugreifen:

1. Melden Sie sich bei Ihrem Hugging Face-Konto an.
2. Besuchen Sie die Gemma-Modellseite (google/gemma-7b-it).
3. Klicken Sie auf die Schaltfläche “Acknowledge license”.
4. Akzeptieren Sie die Bedingungen, um sofortigen Zugriff auf die Modelldateien und -inhalte zu erhalten.

3. Nachdem Sie die obigen Konfigurationsschritte abgeschlossen haben, klicken Sie auf “Save Template”, um Ihre Einstellungen im Template zu speichern.

Schritt 3: Bereitstellung anpassen

In dieser Anleitung müssen Sie die erforderliche Anzahl von GPUs konfigurieren. Als Beispiel verwenden wir eine einzelne RTX 4090 GPU:

1. Wählen Sie die GPU-Konfiguration “1x RTX 4090 24GB”.

2. Klicken Sie auf “Deploy”.

3. Klicken Sie auf “Next”.

Schritt 4: Eine Instanz starten

1. Klicken Sie auf “Deploy”, um Ihre konfigurierte Umgebung bereitzustellen.

Warten Sie einige Minuten, während die Instanz konfiguriert und verwaltet wird.

2. Nachdem die Instanz gestartet ist, beginnt sie mit dem Herunterladen des Modells. Klicken Sie auf “Logs” → “Instance Logs”, um den Fortschritt des Modell-Downloads zu überwachen.

Wenn im Log “INFO: Application startup complete” angezeigt wird, war der Start erfolgreich. Greifen Sie nun auf Ihr privates Modell zu!

3. Klicken Sie auf “Connect”, dann auf “Connect to HTTP Service [Port 8000]”. Da es sich um einen API-Dienst handelt, müssen Sie die Adresse kopieren.

Um Anfragen an Ihr privates Modell zu senden, ersetzen Sie „http://7a65a32b51e37482-8000.jp-tyo-1.gpu-instance.novita.ai" durch Ihre tatsächliche exponierte Adresse. Kopieren Sie den folgenden Code, um auf Ihr privates Modell zuzugreifen!

$ curl http://7a65a32b51e37482-8000.jp-tyo-1.gpu-instance.novita.ai/v1/chat/completions  \
   -H "Content-Type: application/json"     -d '{
        "model": "google/gemma-7b-it",
        "messages": [{"role": "user", "content": "hello"}]
    }'
{"id":"chatcmpl-57b3296f87f54dd4b69cfb6d2196f48e","object":"chat.completion","created":1740711405,"model":"google/gemma-7b-it","choices":[{"index":0,"message":{"role":"assistant","content":"Alright, the user said \"hello.\" That's a friendly greeting. I should respond in a welcoming manner.\
\
Maybe I can acknowledge their greeting and offer assistance.\
\
It's important to sound approachable and ready to help.\
\
I'll keep it simple and polite.\
 response\
\
Hello! How can I assist you today?","tool_calls":[]},"logprobs":null,"finish_reason":"stop","stop_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":70,"completion_tokens":64,"prompt_tokens_details":null},"prompt_logprobs":null}

4. Konfigurieren Sie die API-Adresse in Ihren Anwendungen wie Chatbox, und schon haben Sie Ihren eigenen persönlichen Assistenten!

Novita AI ist eine KI-Cloud-Plattform, die Entwicklern eine einfache Möglichkeit bietet, KI-Modelle über unsere einfache API bereitzustellen, und gleichzeitig eine erschwingliche und zuverlässige GPU-Cloud für den Aufbau und die Skalierung bereitstellt.