Пошаговое руководство: запуск Gemma 7B на GPU-инстансах Novita AI

Модель Gemma 7B от Google привлекла значительное внимание как эффективная и мощная открытая языковая модель. В этом руководстве мы шаг за шагом развернём Gemma 7B на GPU-инстансах Novita AI, сделав её доступной для различных приложений.

Что такое Gemma 7B

Gemma 7B входит в семейство лёгких открытых языковых моделей Google, созданных на основе той же технологии, что и модели Gemini. Она разработана для более доступного развёртывания на различных аппаратных платформах, включая ноутбуки и настольные ПК, а также оптимизирована для NVIDIA GPU и Google Cloud TPU. Gemma 7B имеет 7 миллиардов параметров и обучается на наборе данных, состоящем в основном из веб-документов, математических текстов и кода. В ней используется архитектура transformer только с декодером и многоголовочным вниманием, что делает её эффективной для таких задач, как генерация кода, математические рассуждения и понимание языка.

Зачем использовать Gemma 7B на Novita AI?

Novita AI предлагает облачную платформу с высокопроизводительными GPU-инстансами, предназначенными для AI-нагрузок, что делает её идеальным выбором для запуска таких моделей, как Gemma 7B. Запуск Gemma 7B на GPU-инстансах Novita AI даёт несколько преимуществ:

• Производительность: мощные GPU Novita AI обеспечивают эффективную работу Gemma 7B, справляясь со сложными задачами с высокой производительностью.
• Доступность: лёгкость Gemma 7B позволяет разворачивать её на разном оборудовании, но использование GPU-инстансов Novita AI ещё больше расширяет её возможности.
• Экономичность: использование облачных GPU-ресурсов может быть более рентабельным, чем поддержка локального оборудования для масштабного развёртывания AI-моделей.

Развёртывание с помощью шаблонов Gemma 7B на Novita AI

Предварительные требования

• Учётная запись Novita AI: убедитесь, что у вас есть активная учётная запись в Novita AI.
• API-токен Hugging Face: вам нужно создать учётную запись на huggingface.co и сгенерировать токен доступа с соответствующими разрешениями для взаимодействия с репозиторием модели Gemma.
• Базовые знания: понимание REST API, работа с Docker-контейнерами и знакомство с основами GPU-вычислений.

Пошаговое руководство по развёртыванию Gemma 7B

Шаг 1: Доступ к платформе Novita AI

1. Перейдите на официальный сайт Novita AI: https://novita.ai/

[Попробуйте Novita AI сейчас](https://novita.ai/gpus/?utm_source=blogs_GPU&utm_medium=article&utm_campaign=Step-by-Step Guide: Running Gemma 7B on Novita AI GPU Instances)

2. Зарегистрируйтесь в Novita AI через Google, GitHub или электронную почту.

3. Перейдите в раздел “GPUs” в верхнем меню и выберите “Get Started”, чтобы начать процесс развёртывания.

Шаг 2: Развёртывание Gemma 7B на GPU-инстансе

1. Нажмите “Create My Template”.

2. Настройте параметры развёртывания:

• Имя шаблона: введите описательное имя (например, “Gemma 7b”).
• Образ контейнера: введите vllm/vllm-openai:latest (или ваш собственный образ, если необходимо).
• Команда запуска контейнера: укажите модель: --model google/gemma-7b-it --max-model-len 4096 –port 8000
• Диск контейнера: задайте подходящий размер хранилища.
• Открыть HTTP-порты: используйте 8000 — стандартный порт для обслуживания моделей.
• Переменные окружения: имя: HF_TOKEN; значение: ваш токен доступа Hugging Face.

После завершения настройки нажмите “Save Template”, чтобы сохранить параметры в шаблоне.

Не забудьте получить доступ к моделям Gemma на Hugging Face:

1. Войдите в свою учётную запись Hugging Face.
2. Перейдите на страницу модели Gemma (google/gemma-7b-it).
3. Нажмите кнопку “Acknowledge license”.
4. Примите условия, чтобы получить немедленный доступ к файлам и содержимому модели.

3. После завершения настройки нажмите “Save Template”, чтобы сохранить параметры в шаблоне.

Шаг 3: Настройка развёртывания

В этом руководстве вам нужно указать необходимое количество GPU. Рассмотрим пример с одним RTX 4090:

1. Выберите конфигурацию GPU “1x RTX 4090 24GB”.

2. Нажмите “Depoly”.

3. Нажмите “Next”.

Шаг 4: Запуск инстанса

1. Нажмите “Depoly”, чтобы развернуть настроенную среду.

Подождите несколько минут, пока инстанс настраивается и управляется.

2. После запуска инстанса начнётся загрузка модели. Нажмите “Logs” → “Instance Logs”, чтобы отслеживать ход загрузки.

Когда в логе появится сообщение “INFO: Application startup complete”, запуск завершён. Теперь вы можете получить доступ к своей частной модели!

3. Нажмите “Connect”, затем → “Connect to HTTP Service [Port 8000]”. Поскольку это API-сервис, скопируйте адрес.

Чтобы отправлять запросы к вашей частной модели, замените “http://7a65a32b51e37482-8000.jp-tyo-1.gpu-instance.novita.ai” на ваш фактический открытый адрес. Скопируйте следующий код для доступа к вашей частной модели!

$ curl http://7a65a32b51e37482-8000.jp-tyo-1.gpu-instance.novita.ai/v1/chat/completions  \
   -H "Content-Type: application/json"     -d '{
        "model": "google/gemma-7b-it",
        "messages": [{"role": "user", "content": "hello"}]
    }'
{"id":"chatcmpl-57b3296f87f54dd4b69cfb6d2196f48e","object":"chat.completion","created":1740711405,"model":"google/gemma-7b-it","choices":[{"index":0,"message":{"role":"assistant","content":"Alright, the user said \"hello.\" That's a friendly greeting. I should respond in a welcoming manner.\
\
Maybe I can acknowledge their greeting and offer assistance.\
\
It's important to sound approachable and ready to help.\
\
I'll keep it simple and polite.\
 response\
\
Hello! How can I assist you today?","tool_calls":[]},"logprobs":null,"finish_reason":"stop","stop_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":70,"completion_tokens":64,"prompt_tokens_details":null},"prompt_logprobs":null}

4. Настройте адрес API в своих приложениях, например Chatbox, и получите собственного персонального ассистента!

[Novita AI](https://novita.ai/?utm_source=blogs_GPU&utm_medium=article&utm_campaign=Step-by-Step Guide: Running Gemma 7B on Novita AI GPU Instances) — это облачная AI-платформа, которая предоставляет разработчикам простой способ развёртывания AI-моделей через наш простой API, а также предлагает доступное и надёжное GPU-облако для создания и масштабирования.