Ключевые моменты
Gemma 3 27B — это открытая мультимодальная LLM, выпущенная Google в марте 2025 года.
Поддерживает более 140 языков с новым токенизатором и контекстным окном 128K.
Обрабатывает как текстовые, так и графические входные данные, выводит текст.
Обучена на 14 триллионах токенов, отлично справляется с математикой, кодом и следованием инструкциям.
Результаты бенчмарков: 1339 Elo, 69.0 (MATH), 67.5 (MMLU-Pro).
Может работать на одном NVIDIA H100 или быть развёрнута через Ollama (локально) или Novita AI API / Cloud GPU.
Gemma 3 27B — мощная и гибкая LLM от Google. Она сочетает многоязычность, мультимодальный ввод и высокую производительность, что делает её идеальной для разнообразных задач ИИ — локально или в облаке.
Что такое Gemma 3 27B?
Известные возможности
- Расширенная многоязычная поддержка: Благодаря новому токенизатору Gemma 3 эффективно работает на более чем 140 языках.
- Мультимодальный ввод: Возможность обрабатывать как изображения, так и текст делает её универсальным инструментом для широкого круга приложений.
- Увеличенное контекстное окно: Ёмкость в 128K токенов позволяет обрабатывать объёмные и детализированные входные данные.
- Открытый исходный код и дружелюбность к сообществу: Будучи открытой, модель поощряет эксперименты сообщества и широкое внедрение.
| Категория | Пункт | Детали |
|---|---|---|
| Основная информация | Дата выпуска | 12 марта 2025 |
| Размер модели | 27 миллиардов параметров | |
| Открытый исходный код | Да (выпущена Google) | |
| Языковая поддержка | Поддерживаемые многоязычные языки | Более 140 языков |
| Обучение | Обучающие данные | 14 триллионов токенов |
| Сильные стороны | Математика, программирование, следование инструкциям | |
| Мультимодальность | Мультимодальные возможности | Да (обрабатывает изображения и текст, выводит текст) |
| Контекст | Контекстное окно | 128K токенов |
| Размер модели по точности | bf16 (Raw) | Веса: 54,0 ГБ; Веса + KV Cache: 72,7 ГБ |
| INT4 | Веса: 14,1 ГБ; Веса + KV Cache: 32,8 ГБ | |
| INT4 (blocks=32) | Веса: 15,3 ГБ; Веса + KV Cache: 34,0 ГБ | |
| SFP8 | Веса: 27,4 ГБ; Веса + KV Cache: 46,1 ГБ |
Бенчмарки Gemma 3 27B
| Бенчмарк | Gemma 3 27B | DeepSeek R1 | LLaMA 3.3 70B |
|---|---|---|---|
| LMSys Elo Score | 1339 | ~1360 | ~1260 |
| MMLU-Pro | 67,5 | 84,0 | 66,4 |
| LiveCodeBench | 29,7 | 65,9 | ~29 |
| GPQA Diamond | 42,4 | 71,5 | 50,5 |
| MATH | 69,0 | 97,3 | 77,0 |
Как получить доступ к Gemma 3 27B локально?
Требования к оборудованию
Gemma 3 27B описывается как "самая производительная модель, которую можно запустить на одном GPU!
Источник: Google
| Конфигурация | Требования к VRAM | Примечания |
|---|---|---|
| Облачное развёртывание | Около 80 ГБ VRAM (один / несколько GPU) | Рекомендуются GPU A100 или H100 для оптимальной производительности в облаке. Или RTX 4090 24 ГБ (x3) |
| Apple Silicon | Gemma 3 4B поддерживается через mlx-vlm | Gemma 3 4B поставляется с поддержкой с первого дня в mlx-vlm — библиотеке с открытым исходным кодом для запуска моделей «зрение-язык» на устройствах Apple Silicon, включая Mac и iPhone. |
Пошаговый процесс установки Gemma 3 27B локально
# Step 0: Check NVIDIA GPU
nvidia-smi
# Step 1: Update Ubuntu package sources
apt update
# Step 2: Install Ollama dependencies for GPU detection
apt install pciutils lshw
# Step 3: Install Ollama
curl -fsSL https://ollama.com/install.sh | sh
# Step 4: Start Ollama server (run this in one terminal and keep it open)
ollama serve
# Step 5: (In a new terminal) Check if Ollama is working
ollama
# Step 6: Install Gemma-3 models (choose one)
# Run Gemma-3 1B
# ollama run gemma3:1b
# Run Gemma-3 4B
# ollama run gemma3:4b
# Run Gemma-3 12B
# ollama run gemma3:12b
# ✅ Recommended: Run Gemma-3 27B
ollama run gemma3:27b
# Step 7: Interact with the model directly via prompt in the console
# Example:
# You are an AI-powered trading analyst specializing in cryptocurrency markets.
# Your task is to design an autonomous AI agent that can predict market trends,
# execute trades, and manage risks efficiently. Your response should include:
# - A strategy for analyzing on-chain + off-chain data
# - Model choice for price prediction and sentiment
# - A Python code snippet
# - Risk management methods
# - Ethical concerns
Как получить доступ к Gemma 3 27B через Novita API?
Шаг 1: Войдите и откройте библиотеку моделей
Войдите в свою учётную запись и нажмите кнопку Model Library.
Попробовать демо Gemma 3 27B сейчас!
Шаг 2: Начните бесплатную пробную версию
Начните бесплатную пробную версию, чтобы изучить возможности выбранной модели.
Шаг 3: Получите API-ключ
Для аутентификации через API мы предоставим вам новый API-ключ. Перейдите на страницу «Settings» и скопируйте API-ключ, как показано на изображении.
Шаг 4: Установите API
Установите API с помощью менеджера пакетов, соответствующего вашему языку программирования.
После установки импортируйте необходимые библиотеки в вашу среду разработки. Инициализируйте API с помощью вашего API-ключа, чтобы начать взаимодействие с Novita AI LLM. Ниже приведён пример использования chat completions API для пользователей Python.
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<YOUR Novita AI API Key>",
)
model = "google/gemma-3-27b-it"
stream = True # or False
max_tokens = 2048
system_content = """Be a helpful assistant"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
Использование Gemma 3 27B через Chatbox
Шаг 1: Установите Chatbox
- Выберите опцию «Setting». Эта настройка обеспечивает совместимость с API, следующими стандарту OpenAI API, такими как Novita AI.
- Заполните поля конфигурации:
- Base URL: Введите
https://api.novita.ai/v3/openai. - API Key: Вставьте ваш API-ключ Novita AI.
- Model Name: Вставьте название модели, которое вы скопировали ранее (например,
google/gemma-3-27b-it).
- Base URL: Введите
- После заполнения конфигурации нажмите Done.
Использование Gemma 3 27B через Cloud GPU
Шаг 1: Зарегистрируйте аккаунт
Если вы новичок на Novita AI, начните с создания аккаунта на нашем сайте. После регистрации перейдите на вкладку «GPUs», чтобы изучить доступные ресурсы и начать работу.
Шаг 2: Изучите шаблоны и GPU-серверы
Начните с выбора шаблона, соответствующего потребностям вашего проекта, например PyTorch, TensorFlow или CUDA. Выберите версию, подходящую для ваших задач, например PyTorch 2.2.1 или CUDA 11.8.0. Затем выберите конфигурацию GPU-сервера A100, которая обеспечивает высокую производительность для ресурсоёмких задач с достаточным объёмом VRAM, RAM и дискового пространства.
Попробуйте высокопроизводительные GPU от Novita AI
Шаг 3: Настройте развёртывание
После выбора шаблона и GPU настройте параметры развёртывания, изменив параметры, такие как версия операционной системы (например, CUDA 11.8). Вы также можете настроить другие конфигурации, чтобы адаптировать среду к конкретным требованиям вашего проекта.
Шаг 4: Запустите экземпляр
После того как вы окончательно определились с шаблоном и настройками развёртывания, нажмите «Launch Instance», чтобы запустить экземпляр GPU. Это начнёт настройку среды и позволит вам использовать GPU-ресурсы для задач ИИ.
Благодаря высоким показателям бенчмарков и простым вариантам развёртывания Gemma 3 27B является отличным выбором для разработчиков и исследователей, ищущих открытые и качественные инструменты ИИ.
Часто задаваемые вопросы
Что такое Gemma 3 27B?
Gemma 3 27B — это открытая большая языковая модель с 27 миллиардами параметров, разработанная Google. Она поддерживает мультимодальный ввод (текст + изображения), более 140 языков и имеет контекстное окно на 128K токенов.
Каковы требования к оборудованию для локального запуска Gemma 3 27B?
Вам потребуется около 80 ГБ VRAM. Достаточно одного NVIDIA H100. Вы также можете запустить её на нескольких RTX 4090 (например, 3×24 ГБ).
Доступна ли API-версия Gemma 3 27B?
Да! Вы можете получить доступ к Gemma 3 27B через API Novita AI, который полностью совместим со стандартом OpenAI API.
Novita AI — это облачная платформа ИИ, которая предоставляет разработчикам простой способ развёртывания моделей ИИ через простой API, а также предлагает доступное и надёжное облако GPU для создания и масштабирования.
Рекомендуемые статьи
- Почему требования к VRAM для LLaMA 3.3 70B являются проблемой для домашних серверов?
- Qwen 2.5 72b vs Llama 3.3 70b: Какая модель подходит для ваших задач?
- Qwen 2.5 vs Llama 3.2 90B: Сравнительный анализ способностей к программированию и обработке изображений
Простые API и масштабируемые GPU
Novita AI — это облачная платформа ИИ, которая предоставляет разработчикам простой способ развёртывания моделей ИИ через простой API, а также предлагает доступное и надёжное облако GPU для создания и масштабирования.
