English Arabic 简体中文 繁體中文 Français Deutsch 日本語 한국어 Português Русский Español

逐步指南：在 Novita AI GPU 實例上執行 Gemma 7B

作者 / / GPU / 4 分鐘閱讀
逐步指南：在 Novita AI GPU 實例上執行 Gemma 7B
目錄
  1. 什麼是 Gemma 7B？
  2. 為什麼要在 Novita AI 上使用 Gemma 7B？
  3. 在 Novita AI 上使用 Gemma 7B 範本進行部署

Google 的 Gemma 7B 作為一個高效且強大的開源語言模型，引起了廣泛關注。本指南將逐步教您將 Gemma 7B 部署在 Novita AI GPU 實例上，使其輕鬆應用於各種場景。

什麼是 Gemma 7B？

Gemma 7B 是 Google 輕量級開源語言模型系列中的一員，採用與 Gemini 模型相同的技術建構。它旨在更易於存取，能夠部署在筆記型電腦、桌上型電腦等多種硬體上，同時也針對 NVIDIA GPU 和 Google Cloud TPU 進行了最佳化。Gemma 7B 擁有 70 億個參數，訓練資料集主要包含網頁文件、數學和程式碼。它採用僅解碼器（decoder-only）Transformer 架構搭配多頭注意力機制，在程式碼生成、數學推理和語言理解等任務上表現出色。

為什麼要在 Novita AI 上使用 Gemma 7B？

Novita AI 提供一個基於雲端的高效能 GPU 實例平台，專為 AI 工作負載設計，因此非常適合執行像 Gemma 7B 這樣的模型。在 Novita AI GPU 實例上執行 Gemma 7B 具有以下優點：

  • 效能：Novita AI 強大的 GPU 確保 Gemma 7B 能夠高效運作，以高效能處理複雜任務。
  • 可存取性：Gemma 7B 輕量化的特性使其可以部署在各種硬體上，但使用 Novita AI 的 GPU 實例能進一步提升其能力。
  • 成本效益：利用雲端 GPU 資源進行大規模 AI 模型部署，通常比維護本地硬體更具成本效益。

在 Novita AI 上使用 Gemma 7B 範本進行部署

前置準備

  • Novita AI 帳戶：確保您擁有有效的 Novita AI 帳戶。
  • Hugging Face API 權杖：您需要在 huggingface.co 建立帳戶，並產生一個具有適當權限的存取權杖，以便與 Gemma 模型庫進行互動。
  • **基礎知識 **：了解 REST API、能夠操作 **Docker 容器 **，並熟悉 GPU 運算基本原理。

Gemma 7B 實作的逐步部署指南

步驟 1：存取 Novita AI 平台

  1. 造訪 Novita AI 官方網站：https://novita.ai/

novita ai gpu website screenshot

[立即試用 Novita AI](https://novita.ai/gpus/?utm_source=blogs_GPU&utm_medium=article&utm_campaign=Step-by-Step Guide: Running Gemma 7B on Novita AI GPU Instances)

  1. 透過 Google、GitHub 或電子郵件驗證方式註冊 Novita AI。

  1. 在頂部選單中導航至「GPUs」，然後選擇「Get Started」開始部署流程。

novita ai website screenshot

步驟 2：在 GPU 實例上部署 Gemma 7B

  1. 點擊「Create My Template」。

  1. 設定部署參數：
  • 範本名稱：為您的範本輸入一個描述性名稱（例如「Gemma 7b」）
  • 容器映像：輸入 *vllm/vllm-openai:latest*（或您的自訂映像，如適用）。
  • 容器啟動指令：指定要使用的模型：*--model google/gemma-7b-it --max-model-len 4096* –port 8000
  • 容器磁碟：設定適當的儲存空間大小。
  • 公開 HTTP 連接埠：使用 8000，這是提供模型服務的標準連接埠。
  • 環境變數：名稱：HF_TOKEN；值：您的 Huggingface 存取權杖。

完成上述配置步驟後，點擊「Save Template」將您的設定儲存到範本中。

請記住在 Hugging Face 上存取 Gemma 模型：

  1. 登入您的 Hugging Face 帳戶
  2. 造訪 Gemma 模型頁面（google/gemma-7b-it）
  3. 點擊「Acknowledge license」按鈕
  4. 接受條件以立即存取模型檔案和內容

  1. 完成上述配置步驟後，點擊「Save Template」將您的設定儲存到範本。

步驟 3：自訂部署

在本指南中，您需要配置所需的 GPU 數量。以使用單張 RTX 4090 GPU 為例：

  1. 選擇 GPU 配置「1x RTX 4090 24GB」

  1. 點擊「Depoly」。

  1. 點擊「Next」

步驟 4：啟動實例

  1. 點擊「Depoly」以部署您配置的環境。

等待幾分鐘，實例正在配置和管理中。

Novita ai gpu deploy screenshot

  1. 實例啟動後，它會開始拉取模型。點擊「Logs」→「Instance Logs」來監控模型下載進度。

當日誌顯示「INFO: Application startup complete」時，表示啟動成功。現在讓我們存取您的私有模型！

  1. 點擊「Connect」，然後點擊「→ Connect to HTTP Service [Port 8000]」。由於這是一個 API 服務，您需要複製該地址。

website URL

要向您的私有模型發送請求，請將 ***"http://7a65a32b51e37482-8000.jp-tyo-1.gpu-instance.novita.ai"*** 替換為您實際的公開地址。複製以下程式碼以存取您的私有模型！

$ curl http://7a65a32b51e37482-8000.jp-tyo-1.gpu-instance.novita.ai/v1/chat/completions  \
   -H "Content-Type: application/json"     -d '{
        "model": "google/gemma-7b-it",
        "messages": [{"role": "user", "content": "hello"}]
    }'
{"id":"chatcmpl-57b3296f87f54dd4b69cfb6d2196f48e","object":"chat.completion","created":1740711405,"model":"google/gemma-7b-it","choices":[{"index":0,"message":{"role":"assistant","content":"Alright, the user said \"hello.\" That's a friendly greeting. I should respond in a welcoming manner.\
\
Maybe I can acknowledge their greeting and offer assistance.\
\
It's important to sound approachable and ready to help.\
\
I'll keep it simple and polite.\
 response\
\
Hello! How can I assist you today?","tool_calls":[]},"logprobs":null,"finish_reason":"stop","stop_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":70,"completion_tokens":64,"prompt_tokens_details":null},"prompt_logprobs":null}

ｕｒｌ

  1. 在您的應用程式（如 Chatbox）中設定 API 地址，您就能擁有自己的個人助理！

[Novita AI](https://novita.ai/?utm_source=blogs_GPU&utm_medium=article&utm_campaign=Step-by-Step Guide: Running Gemma 7B on Novita AI GPU Instances) 是一個 AI 雲端平台，讓開發者可以透過我們簡單的 API 輕鬆部署 AI 模型，同時提供經濟實惠且可靠的 GPU 雲端來建構與擴展。

相關文章