如何本地、通过 API、云 GPU 访问 Gemma 3 27B

什么是 Gemma 3 27B？
如何在本地访问 Gemma 3 27B？
如何通过 Novita API 访问 Gemma 3 27B？
通过 Chatbox 使用 Gemma 3 27B
通过云 GPU 使用 Gemma 3 27B
常见问题
简单 API 与可扩展 GPU

关键亮点

Gemma 3 27B 是 Google 于 2025 年 3 月 发布的开源多模态大语言模型。

支持 **140+ 种语言 **，配备全新分词器和 128K 上下文窗口。

支持 文本与图像 输入，输出文本。

基于 14 万亿 tokens 训练，在 ** 数学、代码和指令遵循** 方面表现优异。

基准评分：1339 Elo、69.0（MATH）、67.5（MMLU-Pro）。

可在 单张 NVIDIA H100 上运行，或通过 Ollama（本地） 或 Novita AI API / 云 GPU 进行部署。

Gemma 3 27B 是一款由 Google 构建的强大且灵活的 LLM。它融合了多语言覆盖、多模态输入和高性能，是本地或云端多样化 AI 工作负载的理想选择。

什么是 Gemma 3 27B？

显著特性

先进的多语言支持：借助新分词器，Gemma 3 在 140+ 种语言中表现出色。

多模态输入：能够处理图像和文本，使其成为各类应用的通用工具。

扩展的上下文窗口：128K token 容量可处理大量且详细的输入。

开源且社区友好：作为开源模型，鼓励社区实验和广泛采用。

类别	项目	详情
基本信息	发布日期	2025年3月12日
	模型大小	270 亿参数
	是否开源	是（由 Google 发布）
语言支持	支持的多语言	超过 140 种语言
训练	训练数据	14 万亿 tokens
	优势领域	数学、编码、指令遵循
多模态	多模态能力	是（处理图像和文本，输出文本）
上下文	上下文窗口	128K tokens
不同精度模型大小	bf16（原始）	权重：54.0 GB；权重 + KV 缓存：72.7 GB
	INT4	权重：14.1 GB；权重 + KV 缓存：32.8 GB
	INT4（blocks=32）	权重：15.3 GB；权重 + KV 缓存：34.0 GB
	SFP8	权重：27.4 GB；权重 + KV 缓存：46.1 GB

Gemma 3 27B 基准对比

基准	Gemma 3 27B	DeepSeek R1	LLaMA 3.3 70B
LMSys Elo 分数	1339	~1360	~1260
MMLU-Pro	67.5	84.0	66.4
LiveCodeBench	29.7	65.9	~29
GPQA Diamond	42.4	71.5	50.5
MATH	69.0	97.3	77.0

如何在本地访问 Gemma 3 27B？

硬件要求

Gemma 3 27B 被描述为 “可以在单张 GPU 上运行的最强大的模型”！

来源：Google

配置	VRAM 需求	备注
云部署	约 80GB VRAM（单/多 GPU）	推荐使用 A100 或 H100 GPU 以获得最佳云部署性能。或使用 RTX 4090 24GB（x3）
Apple Silicon	通过 mlx-vlm 支持 Gemma 3 4B	Gemma 3 4B 在 mlx-vlm 中提供零日支持，mlx-vlm 是一个开源库，用于在 Apple Silicon 设备（包括 Mac 和 iPhone）上运行视觉语言模型。

在本地安装 Gemma 3 27B 的步骤

# 步骤 0：检查 NVIDIA GPU
nvidia-smi

# 步骤 1：更新 Ubuntu 软件包源
apt update

# 步骤 2：安装用于 GPU 检测的 Ollama 依赖
apt install pciutils lshw

# 步骤 3：安装 Ollama
curl -fsSL https://ollama.com/install.sh | sh

# 步骤 4：启动 Ollama 服务（在一个终端中运行并保持打开）
ollama serve

# 步骤 5：（在新终端中）检查 Ollama 是否正常工作
ollama

# 步骤 6：安装 Gemma-3 模型（选择一个）

# 运行 Gemma-3 1B
# ollama run gemma3:1b

# 运行 Gemma-3 4B
# ollama run gemma3:4b

# 运行 Gemma-3 12B
# ollama run gemma3:12b

# ✅ 推荐：运行 Gemma-3 27B
ollama run gemma3:27b

# 步骤 7：通过控制台提示直接与模型交互
# 示例：
# 你是一名专注于加密货币市场的 AI 交易分析师。
# 你的任务是设计一个能够预测市场趋势、
# 执行交易并高效管理风险的自主 AI 智能体。你的回答应包含：
# - 分析链上 + 链下数据的策略
# - 用于价格预测和情绪分析的模型选择
# - Python 代码片段
# - 风险管理方法
# - 伦理考量

如何通过 Novita API 访问 Gemma 3 27B？

步骤 1：登录并访问模型库

登录你的账户，点击 模型库 按钮。

立即尝试 Gemma 3 27B 演示

步骤 2：开始免费试用

开始免费试用，探索所选模型的能力。

步骤 3：获取你的 API 密钥

为了通过 API 进行身份验证，我们将为你提供一个新的 API 密钥。进入 “设置” 页面，你可以按照图中指示复制 API 密钥。

步骤 4：安装 API

使用你的编程语言对应的包管理器安装 API。

安装后，将必要的库导入到你的开发环境中。使用你的 API 密钥初始化 API，即可开始与 Novita AI LLM 进行交互。以下是为 Python 用户提供的一个使用聊天补全 API 的示例。

from openai import OpenAI
  
client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    api_key="<你的 Novita AI API 密钥>",
)

model = "google/gemma-3-27b-it"
stream = True # 或 False
max_tokens = 2048
system_content = """请做一个有用的助手"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": system_content,
        },
        {
            "role": "user",
            "content": "你好！",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
    temperature=temperature,
    top_p=top_p,
    presence_penalty=presence_penalty,
    frequency_penalty=frequency_penalty,
    response_format=response_format,
    extra_body={
      "top_k": top_k,
      "repetition_penalty": repetition_penalty,
      "min_p": min_p
    }
  )

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)

通过 Chatbox 使用 Gemma 3 27B

步骤 1：安装 Chatbox

选择 “设置” 选项。此设置可确保与遵循 OpenAI API 标准（如 Novita AI）的 API 兼容。
填写配置字段：
- Base URL：输入 https://api.novita.ai/v3/openai。
- API Key：在此粘贴你的 Novita AI API 密钥。
- Model Name：粘贴你之前复制的模型名称（例如 google/gemma-3-27b-it）。
配置填写完成后，点击完成。

通过云 GPU 使用 Gemma 3 27B

步骤 1：注册账户

如果你是 Novita AI 的新用户，请先在网站上创建一个账户。注册后，进入 “GPUs” 选项卡，探索可用资源并开始你的旅程。

步骤 2：探索模板和 GPU 服务器

首先选择一个符合你项目需求的模板，例如 PyTorch、TensorFlow 或 CUDA。选择适合你要求的版本，如 PyTorch 2.2.1 或 CUDA 11.8.0。然后选择 A100 GPU 服务器配置，该配置提供强大的性能，并具有充足的 VRAM、内存和磁盘容量。

尝试 Novita AI 的高性能 GPU

步骤 3：定制你的部署

选择模板和 GPU 后，通过调整参数（如操作系统版本，例如 CUDA 11.8）来定制你的部署设置。你还可以调整其他配置，以使环境适应项目的特定要求。

步骤 4：启动实例

完成模板和部署设置后，点击 “启动实例” 来建立你的 GPU 实例。这将开始环境设置，使你能够开始使用 GPU 资源进行 AI 任务。

凭借强大的基准和简单的部署选项，Gemma 3 27B 是寻求开放、高质量 AI 工具的开发者与研究人员的绝佳选择。

常见问题

什么是 Gemma 3 27B？

Gemma 3 27B 是由 Google 开发的 270 亿参数开源大语言模型。它支持多模态输入（文本 + 图像）、超过 140 种语言，并具备 128K token 上下文窗口。

在本地运行 Gemma 3 27B 需要什么硬件？

你需要大约 80GB VRAM。单张 NVIDIA H100 即可满足。你也可以使用多张 RTX 4090（例如 3×24GB）来运行。

是否有 Gemma 3 27B 的 API 版本可用？

是的！你可以通过 Novita AI API 访问 Gemma 3 27B，该 API 完全兼容 OpenAI API 标准。

Novita AI 是一个 AI 云平台，为开发者提供通过简单 API 部署 AI 模型的简便方式，同时提供经济实惠且可靠的 GPU 云用于构建和扩展。

简单 API 与可扩展 GPU

Novita AI 是一个 AI 云平台，为开发者提供通过简单 API 部署 AI 模型的简便方式，同时提供经济实惠且可靠的 GPU 云用于构建和扩展。

立即尝试 Gemma 3 27B 演示

如何本地、通过 API、云 GPU 访问 Gemma 3 27B

关键亮点

什么是 Gemma 3 27B？