English Arabic 简体中文 繁體中文 Français Deutsch 日本語 한국어 Português Русский Español

分步指南：在 Novita AI GPU 实例上运行 Gemma 7B

作者 / / GPU / 4 分钟阅读
分步指南：在 Novita AI GPU 实例上运行 Gemma 7B
目录
  1. Gemma 7B 是什么
  2. 为什么要在 Novita AI 上使用 Gemma 7B？
  3. 在 Novita AI 上使用 Gemma 7B 模板进行部署

Google 的 Gemma 7B 作为一款高效且强大的开源语言模型，备受关注。本指南将带你逐步在 Novita AI GPU 实例上部署 Gemma 7B，使其能够轻松应用于各种场景。

Gemma 7B 是什么

Gemma 7B 是 Google 轻量级开源语言模型系列中的一员，基于与 Gemini 模型相同的技术构建。它设计得更加易于访问，并能在多种硬件平台上部署（包括笔记本电脑和台式机），同时也针对 NVIDIA GPU 和 Google Cloud TPU 进行了优化。Gemma 7B 拥有 70 亿参数，训练数据集主要由网页文档、数学和代码组成。它采用解码器专用 Transformer 架构，配备多头注意力机制，在代码生成、数学推理和语言理解等任务上表现出色。

为什么要在 Novita AI 上使用 Gemma 7B？

Novita AI 提供基于云的平台，拥有为 AI 工作负载设计的高性能 GPU 实例，因此非常适合运行像 Gemma 7B 这样的模型。在 Novita AI GPU 实例上运行 Gemma 7B 具有多项优势：

  • 性能：Novita AI 的强大 GPU 确保 Gemma 7B 能够高效运行，以高性能处理复杂任务。
  • 便捷性：Gemma 7B 的轻量特性使其可以部署在多种硬件上，但使用 Novita AI 的 GPU 实例能进一步发挥其潜力。
  • 成本效益：利用云 GPU 资源比自行维护本地硬件进行大规模 AI 模型部署更具成本效益。

在 Novita AI 上使用 Gemma 7B 模板进行部署

前提条件

  • Novita AI 账户：确保你拥有一个有效的 Novita AI 账户。
  • Hugging Face API 令牌：你需要在 huggingface.co 创建账户，并生成一个具有相应权限的访问令牌，以便与 Gemma 模型仓库交互。
  • **基础知识 **：了解 REST API、使用 **Docker 容器 **，并熟悉 GPU 计算基础。

Gemma 7B 部署分步指南

第一步：访问 Novita AI 平台

  1. 访问 Novita AI 官方网站：https://novita.ai/

novita ai gpu website screenshot

[立即尝试 Novita AI](https://novita.ai/gpus/?utm_source=blogs_GPU&utm_medium=article&utm_campaign=Step-by-Step Guide: Running Gemma 7B on Novita AI GPU Instances)

  1. 通过 Google、GitHub 或邮箱认证方式注册 Novita AI。

  1. 在顶部菜单栏中导航到 “GPUs”，然后选择 “Get Started” 开始部署流程。

novita ai website screenshot

第二步：在 GPU 实例上部署 Gemma 7B

  1. 点击 “Create My Template”。

  1. 配置部署参数：
  • 模板名称：为你的模板输入一个描述性名称（例如 “Gemma 7b”）。
  • 容器镜像：输入 vllm/vllm-openai:latest（或使用自定义镜像）。
  • 容器启动命令：指定要使用的模型：--model google/gemma-7b-it --max-model-len 4096 –port 8000
  • 容器存储：设置合适的存储大小。
  • 暴露 HTTP 端口：使用 8000，这是服务模型的默认端口。
  • 环境变量：名称：HF_TOKEN；值：你的 Huggingface 访问令牌。

完成上述配置后，点击 “Save Template” 将设置保存到模板中。

请记住访问 Hugging Face 上的 Gemma 模型：

  1. 登录你的 Hugging Face 账户
  2. 访问 Gemma 模型页面 (google/gemma-7b-it)
  3. 点击 “Acknowledge license” 按钮
  4. 接受条款以立即获取模型文件和内容的访问权限

  1. 完成上述配置后，点击 “Save Template” 将设置保存到模板中。

第三步：自定义部署

在本指南中，你需要配置所需的 GPU 数量。以单张 RTX 4090 GPU 为例：

  1. 选择 GPU 配置 “1x RTX 4090 24GB”

  1. 点击 “Depoly”。

  1. 点击 “Next”

第四步：启动实例

  1. 点击 “Depoly” 部署你配置的环境。

等待几分钟，实例正在配置和管理中。

Novita ai gpu deploy screenshot

  1. 实例启动后，会开始拉取模型。点击 “Logs” --> “Instance Logs” 监控模型下载进度。

当日志显示 “INFO: Application startup complete” 时，启动成功。现在可以访问你的私有模型了！

  1. 点击 “Connect”，然后点击 --> “Connect to HTTP Service [Port 8000]”。由于这是一个 API 服务，你需要复制地址。

website URL

要请求你的私有模型，请将 “http://7a65a32b51e37482-8000.jp-tyo-1.gpu-instance.novita.ai” 替换为你实际的暴露地址。复制以下代码访问你的私有模型！

$ curl http://7a65a32b51e37482-8000.jp-tyo-1.gpu-instance.novita.ai/v1/chat/completions  \
   -H "Content-Type: application/json"     -d '{
        "model": "google/gemma-7b-it",
        "messages": [{"role": "user", "content": "hello"}]
    }'
{"id":"chatcmpl-57b3296f87f54dd4b69cfb6d2196f48e","object":"chat.completion","created":1740711405,"model":"google/gemma-7b-it","choices":[{"index":0,"message":{"role":"assistant","content":"Alright, the user said \"hello.\" That's a friendly greeting. I should respond in a welcoming manner.\
\
Maybe I can acknowledge their greeting and offer assistance.\
\
It's important to sound approachable and ready to help.\
\
I'll keep it simple and polite.\
 response\
\
Hello! How can I assist you today?","tool_calls":[]},"logprobs":null,"finish_reason":"stop","stop_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":70,"completion_tokens":64,"prompt_tokens_details":null},"prompt_logprobs":null}

ｕｒｌ

  1. 在 Chatbox 等应用中配置 API 地址，即可拥有你自己的个人助手！

[Novita AI](https://novita.ai/?utm_source=blogs_GPU&utm_medium=article&utm_campaign=Step-by-Step Guide: Running Gemma 7B on Novita AI GPU Instances) 是一个 AI 云平台，为开发者提供通过简单 API 部署 AI 模型的便捷方式，同时提供经济可靠、用于构建和扩展的 GPU 云。

相关文章