Ключевые моменты
Мультимодальность, многоязычность, длинный контекст: Gemma 3 27B обрабатывает текст и изображения, поддерживает более 140 языков и работает с контекстом до 128K токенов для длинных входных данных.
Рейтинг Elo: Достиг рейтинга Elo 1339, войдя в топ-10 моделей мира.
Совместимость с одним GPU: Обеспечивает высокую производительность на одном NVIDIA H100, превосходя конкурентов, требующих несколько GPU.
Доступ через Novita AI: Novita AI предлагает экономичный API и бесплатную игровую площадку для изучения возможностей Gemma 3 27B — попробуйте сейчас!
Выпущенная 12 марта 2025 года, Gemma 3 27B является значительным дополнением к открытым большим языковым моделям Google. Будучи самой крупной моделью в семействе Gemma 3, за исключением доработанных под инструкции вариаций с определёнными функциями, она стремится обеспечить баланс производительности и доступности. Эта статья представляет практический и технический обзор Gemma 3 27B, описывая её архитектуру, возможности, производительность в бенчмарках и практических тестах, аппаратные требования и способы доступа.
Что такое Gemma 3 27B?
Примечательные особенности
- Продвинутая многоязычная поддержка: Благодаря новому токенизатору Gemma 3 эффективно работает с более чем 140 языками.
- Мультимодальный ввод: Возможность обрабатывать как изображения, так и текст делает её универсальным инструментом для множества приложений.
- Расширенное окно контекста: Ёмкость в 128K токенов позволяет обрабатывать обширные и детализированные входные данные.
- Открытый исходный код и дружелюбность к сообществу: Будучи открытой, модель поощряет эксперименты сообщества и широкое внедрение.
Дата выхода, размер модели, открытый исходный код
- 12 марта 2025 года
- 27 миллиардов параметров
Такой размер позиционирует Gemma 3 как серьёзную модель, способную эффективно решать сложные и разнообразные задачи. - Открытая модель: Выпущена Google в качестве модели с открытым исходным кодом.
Поддерживаемые языки
-
Поддерживает более 140 языков
- Содержит новый токенизатор, разработанный для лучшей многоязычной поддержки, что делает её очень гибкой в глобальных приложениях.
Архитектура модели
- Технология: Построена на тех же исследованиях и технологиях, которые используются в моделях Google Gemini 2.0.
- Обучение:
- Обучена на 14 триллионах токенов с использованием Google TPU.
- Использован фреймворк JAX для эффективного и масштабируемого обучения.
- Использованные техники:
- Дистилляция
- Обучение с подкреплением (включая RLHF, RLMF, RLEF)
- Слияние моделей
- Эти техники улучшают производительность модели в критических областях, таких как математика, программирование и следование инструкциям.
Мультимодальные возможности
- Мультимодальность: Да
- Обрабатывает как изображения, так и текст на входе и генерирует текстовый вывод.
- Визуальный кодировщик: Основан на SigLIP.
Окно контекста
-
128K токенов
- Позволяет модели обрабатывать и понимать большие объёмы информации для сложных задач.
- Детали предобучения:
- Изначально предобучена на последовательностях по 32k и позже масштабирована до 128k.
- Достигнуто за счёт корректировок позиционных вложений с использованием RoPE (Rotary Positional Embeddings).
Точность квантования
-
Точность обучения по умолчанию: bfloat16
- Примечание по производительности: Модели работают лучше всего с bfloat16, качество может ухудшаться при других точностях.
-
Варианты квантования:
- Эксперименты сообщества с уровнями квантования, такими как Q8 gguf quant, EXL2 и IQ4_XS для оптимизации использования VRAM.
| Уровень точности | Только веса (ГБ) | Веса + кэширование KV (ГБ) |
|---|---|---|
| bf16 (Raw) | 54.0 | 72.7 |
| INT4 | 14.1 | 32.8 |
| INT4 (blocks=32) | 15.3 | 34.0 |
| SFP8 | 27.4 | 46.1 |
Бенчмарки Gemma 3 27B
Производительность в чате
Gemma 3 27B продемонстрировала выдающиеся способности в недавних оценках, достигнув рейтинга Elo 1339 на LMSys Chatbot Arena. Эта производительность помещает её в топ-10 лучших моделей, включая ведущие закрытые модели, такие как o1-preview, и подчёркивает её силу в оценках человеческих предпочтений. Кроме того, Gemma 3 27B достигает этого высокого результата, требуя всего один NVIDIA H100 GPU, в отличие от конкурентов, которые полагаются на до 32 GPU для аналогичной производительности.
Из Hugging Face
Производительность в конкретных бенчмарках
Версия, доработанная под инструкции, Gemma 3 27B IT, достигла конкурентоспособных результатов в ряде оценок, часто соперничая с закрытыми моделями Gemini:
| Бенчмарк | Результат | Описание |
|---|---|---|
| MMLU-Pro | 67.5 | Высокая производительность в многоцелевом понимании языка. |
| LiveCodeBench | 29.7 | Демонстрирует умеренный успех в живых задачах по программированию. |
| Bird-SQL | 54.4 | Конкурентоспособные результаты в генерации и понимании SQL-запросов. |
| GPQA Diamond | 42.4 | Уверенная производительность в ответах на вопросы общего назначения. |
| MATH | 69.0 | Превосходно решает сложные математические задачи. |
| FACTS Grounding | 74.9 | Отличная фактическая обоснованность и точность в задачах, основанных на знаниях. |
| MMMU | 64.9 | Высокая производительность в задачах мультимодального понимания. |
| SimpleQA | 10.0 | Более низкая производительность в базовых вопросах на факты, оставляет пространство для улучшения. |
Аппаратные требования Gemma 3 27B
Gemma 3 27B описывается как “самая производительная модель, которую можно запустить на одном GPU”!
Из Google
| Конфигурация | Требования к VRAM | Примечания |
|---|---|---|
| Облачное развёртывание | Около 80 ГБ VRAM (один/несколько GPU) | Рекомендуются GPU A100 или H100 для оптимальной производительности облачного развёртывания. Или RTX 4090 24 ГБ (x3) |
| Apple Silicon | Gemma 3 4B поддерживается через mlx-vlm | Gemma 3 4B поставляется с поддержкой с нулевого дня в mlx-vlm, библиотеке с открытым исходным кодом для запуска моделей зрение-язык на устройствах Apple Silicon, включая Mac и iPhone. |
Тестирование Gemma 3 27B
Код
Запрос: Создайте JavaScript-симуляцию вращающейся 3D-сферы, состоящей из букв алфавита. Ближайшие буквы должны быть более яркого цвета, а самые дальние — серого.
Вывод: Похоже, модель не полностью выполнила запрос. Вместо этого она сгенерировала вращающееся кольцо с буквами. Кроме того, два первых предварительных просмотра не удались из-за недостаточной яркости.
Рассуждение
Запрос: У вас есть 14 яблок. Эмма берёт 3, но отдаёт 2 обратно. Вы роняете 7 и поднимаете 4. Лео берёт 4 и отдаёт 5. Вы берёте 1 яблоко у Эммы и обмениваете его с Лео на 3 яблока, затем отдаёте эти 3 Эмме, которая даёт вам яблоко и апельсин. Зара забирает ваше яблоко и даёт вам грушу. Вы обмениваете грушу с Лео на яблоко. Позже Зара обменивает яблоко на апельсин и меняется с вами на другое яблоко. Сколько у вас груш? Ответьте только на то, что спрашивается.
Вывод: За считанные секунды она эффективно проанализировала все сценарии и точно подсчитала общее количество груш.
Анализ изображения
Запрос: Скажите, во сколько раз увеличился рейтинг Elo от gemma 2 27b до gemma 3 27b?
Из Google
Вывод: Правильно определила числа, но не вычислила кратность, как требовалось в запросе; вместо этого вычислила только разницу.
На основе изображения, вот расчёт:
- Рейтинг Elo Gemma 2 27B: 1220
- Рейтинг Elo Gemma 3 27B: 1338
Увеличение: 1338 - 1220 = 118
Рейтинг Elo увеличился на 118 пунктов от Gemma 2 27B к Gemma 3 27B.
Как получить доступ к Gemma 3 27B?
Novita AI — это облачная AI-платформа, которая предоставляет разработчикам простой способ развёртывания AI-моделей с помощью нашего простого API, а также предлагает доступное и надёжное GPU-облако для построения и масштабирования.
Шаг 1: Войдите в систему и откройте библиотеку моделей
Войдите в свою учётную запись и нажмите кнопку Model Library.
Попробуйте демо Gemma 3 27B сейчас!
Шаг 2: Начните бесплатный пробный период
Начните бесплатный пробный период, чтобы изучить возможности выбранной модели.
Шаг 3: Получите ключ API
Для аутентификации в API мы предоставим вам новый ключ API. Перейдя на страницу Settings, вы можете скопировать ключ API, как показано на изображении.
Шаг 4: Установите API
Установите API с помощью менеджера пакетов, соответствующего вашему языку программирования.
После установки импортируйте необходимые библиотеки в вашу среду разработки. Инициализируйте API с вашим ключом API, чтобы начать взаимодействие с Novita AI LLM. Это пример использования API завершения чата для пользователей Python.
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<YOUR Novita AI API Key>",
)
model = "google/gemma-3-27b-it"
stream = True # or False
max_tokens = 2048
system_content = """Be a helpful assistant"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
Gemma 3 27B — это мощная открытая модель от Google, предлагающая сильные способности к рассуждению, мультимодальные возможности, многоязычную поддержку и лёгкую интеграцию с платформами, такими как Hugging Face, при этом работающая на потребительском оборудовании.
Часто задаваемые вопросы
Сколько параметров у Gemma 3 27B?
У Gemma 3 27B 27 миллиардов параметров.
Является ли Gemma 3 27B мультимодальной?
Да, она поддерживает как изображения, так и текстовые вводы.
Какое рекомендуемое оборудование для запуска Gemma 3 27B?
Для локального использования рекомендуется GPU с объёмом VRAM не менее 24 ГБ, при этом больший объём VRAM полезен для больших размеров контекста. Также её можно развернуть на облачных платформах, таких как Hugging Face Inference Endpoints, с различными вариантами GPU. Или вы можете выбрать эффективный API, например Novita AI!
Novita AI — это облачная AI-платформа, которая предоставляет разработчикам простой способ развёртывания AI-моделей с помощью нашего простого API, а также предлагает доступное и надёжное GPU-облако для построения и масштабирования.
