Вы планируете локально развернуть GLM-4.5, но обеспокоены значительными требованиями к ресурсам GPU? Полная версия модели GLM-4.5 требует конфигураций из 16 GPU NVIDIA H100 или 8 GPU H200 с точностью FP8, в то время как более ресурсосберегающая версия GLM-4.5-Air работает на 2 GPU H100 или 1 GPU H200 с точностью FP8. Эти конфигурации обеспечивают оптимальную производительность и поддерживают большой контекст модели длиной до 128K токенов.
В этой статье мы изучим требования GLM-4.5 к VRAM, обсудим возможность локального развертывания и рассмотрим альтернативные методы эффективного использования этой мощной языковой модели.
Требования GLM 4.5 к VRAM
GLM-4.5 — это последнее достижение в линейке GLM, оснащенное сложной архитектурой Mixture-of-Experts (MoE) и оптимизированное для агентных приложений. Модель представлена в двух вариантах: флагманская GLM-4.5 с 355 миллиардами общих параметров (32 миллиарда активных) и эффективная GLM-4.5-Air с 106 миллиардами общих параметров (12 миллиардов активных).
Ключевые архитектурные инновации включают более глубокую структуру модели с уменьшенной шириной и увеличенной глубиной для улучшения рассуждений, предобучение на огромном корпусе из 15 триллионов токенов для получения всеобъемлющих знаний, а также открытую инфраструктуру RL «slime», разработанную для масштабируемого крупномасштабного агентного обучения с подкреплением.
Источник: Z.AI
Сколько VRAM требуется GLM 4.5 для инференса?
Модели могут работать при конфигурациях, указанных в таблице ниже:
| Модель | Точность | Тип и количество GPU | Тестовый фреймворк |
|---|---|---|---|
| GLM-4.5 | BF16 | H100 x 16 / H200 x 8 | sglang |
| GLM-4.5 | FP8 | H100 x 8 / H200 x 4 | sglang |
| GLM-4.5-Air | BF16 | H100 x 4 / H200 x 2 | sglang |
| GLM-4.5-Air | FP8 | H100 x 2 / H200 x 1 | sglang |
При конфигурациях, указанных в таблице ниже, модели могут использовать свой полный контекст длиной 128K токенов:
| Модель | Точность | Тип и количество GPU | Тестовый фреймворк |
|---|---|---|---|
| GLM-4.5 | BF16 | H100 x 32 / H200 x 16 | sglang |
| GLM-4.5 | FP8 | H100 x 16 / H200 x 8 | sglang |
| GLM-4.5-Air | BF16 | H100 x 8 / H200 x 4 | sglang |
| GLM-4.5-Air | FP8 | H100 x 4 / H200 x 2 | sglang |
Сколько VRAM требуется GLM 4.5 для дообучения?
Код может работать при конфигурациях, указанных в таблице ниже, с использованием Llama Factory:
| Модель | Тип и количество GPU | Стратегия | Размер пакета (на GPU) |
|---|---|---|---|
| GLM-4.5 | H100 x 16 | Lora | 1 |
| GLM-4.5-Air | H100 x 4 | Lora | 1 |
Код может работать при конфигурациях, указанных в таблице ниже, с использованием Swift:
| Модель | Тип и количество GPU | Стратегия | Размер пакета (на GPU) |
|---|---|---|---|
| GLM-4.5 | H20 (96GiB) x 16 | Lora | 1 |
| GLM-4.5-Air | H20 (96GiB) x 4 | Lora | 1 |
| GLM-4.5 | H20 (96GiB) x 128 | SFT | 1 |
| GLM-4.5-Air | H20 (96GiB) x 32 | SFT | 1 |
| GLM-4.5 | H20 (96GiB) x 128 | RL | 1 |
| GLM-4.5-Air | H20 (96GiB) x 32 | RL | 1 |
Использование VRAM GLM 4.5 при разных размерах пакета
| Модель | Точность | Размер пакета (на GPU) | VRAM |
|---|---|---|---|
| GLM-4.5 | FP16 | 1 | 945.36GB |
| GLM-4.5 | FP16 | 8 | 1128.49GB |
| GLM-4.5 | FP16 | 16 | 1137.79GB |
| GLM-4.5 | FP16 | 32 | 1756.38GB |
| GLM-4.5-Air | FP16 | 1 | 288.68GB |
| GLM-4.5-Air | FP16 | 8 | 343.58GB |
| GLM-4.5-Air | FP16 | 16 | 406.33GB |
| GLM-4.5-Air | FP16 | 32 | 531.83GB |
Какие аппаратные требования предъявляются к GLM 4.5?
https://www.youtube.com/watch?v=grAXN76\_-Ig
- GPU:
- Инференс: 8 × H100 / 4 × H200 (FP8) или 16 × H100 / 8 × H200 (BF16) для полной версии модели; половина от этого для варианта Air.
- Дообучение: GPU с объемом VRAM ≥ 80 ГБ.
- CPU и система:
- ≥ 1 ТБ ОЗУ для загрузки моделей и управления буферами выгрузки.
- Высокоскоростное соединение (NVLink / коммутатор HPC) для тензорного параллелизма на нескольких GPU.
- Точность вычислений:
- FP8 для минимального использования VRAM (требует GPU с нативной поддержкой FP8).
- BF16 как альтернатива на GPU без поддержки FP8.
- Программное обеспечение:
- vLLM или Llama Factory для инференса; поддержка спекулятивного декодирования и выгрузки на CPU.
Оптимизация GLM 4.5 для снижения потребления VRAM
- Варианты моделей: Выбирайте GLM 4.5-Air (106 млрд общих / 12 млрд активных) для конфигураций GPU с 32–64 ГБ VRAM.
- Когда выбирать GLM-4.5-Air：
- Значительно более быстрая генерация:
- GLM-4.5-Air достигает скорости вывода около 160 токенов в секунду, что почти в два раза быстрее полной версии модели (примерно 88 токенов/с). Это делает вариант Air идеальным для приложений с чувствительностью к задержкам.
- Крайне низкая задержка вывода первого токена (TTFT):
- Air выводит первый токен примерно за 0,58 секунды, в то время как полная версия — за 0,68 секунды. В некоторых тестах задержка полной версии может достигать 22–23 секунд при учете времени на «обдумывание».
- Меньшее время сквозного ответа:
- Air предоставляет сквозные ответы (обработка ввода, инференс и вывод) примерно за 16 секунд, в то время как полная версия тратит почти 29 секунд, что делает ее менее подходящей для взаимодействия в реальном времени.
- Немного более низкие баллы на задачах со сложным рассуждением:
- На бенчмарках рассуждений, таких как MMLU-Pro, GPQA и AIME, Air набирает на 2–3% меньше баллов, чем полная версия, но все равно сохраняет ведущую в отрасли производительность.
- Рекомендуется для большинства сценариев использования:
- Для большинства задач генерации текста, суммаризации, базового рассуждения и помощи в написании кода полная версия модели не требуется — Air достаточно для высокой производительности и отзывчивости.
- Значительно более быстрая генерация:
- Выгрузка слоев: Выгружайте отдельные эксперты MoE или слои прямого распространения в оперативную память CPU.
- Квантизация KV-кэша: Снижайте точность кэша для экономии VRAM с незначительной потерей качества.
- Размер пакета = 1: Ограничьтесь инференсом одного образца на GPU для минимизации активаций.
Еще один экономически эффективный вариант: API
Ниже приведено упрощенное сравнение развертывания GLM 4.5 через API и его локального запуска:
| Аспект | Развертывание через API | Локальное развертывание |
|---|---|---|
| Стоимость | Оплата по факту использования; например, 0,6$ за миллион входных токенов и 2,2¥ за миллион выходных токенов на Novita AI | Высокие первоначальные инвестиции в оборудование (например, GPU NVIDIA A100); потенциально более низкие затраты со временем при интенсивном использовании. |
| Производительность | Масштабируемая с возможной сетевой задержкой; подходит для приложений, где допустимы небольшие задержки. | Более низкая задержка и стабильная производительность; идеально для приложений в реальном времени, требующих немедленных ответов. |
| Масштабируемость | Легко масштабируется без управления инфраструктурой; провайдер занимается масштабированием. | Масштабирование требует дополнительного оборудования и управления инфраструктурой. |
| Конфиденциальность данных | Данные обрабатываются внешне, что может вызывать опасения в отношении конфиденциальности, особенно в регулируемых отраслях. | Данные остаются внутри компании, что обеспечивает больший контроль и соответствие нормативам по защите данных. |
| Операционная сложность | Минимальная настройка и обслуживание; провайдер управляет обновлениями и инфраструктурой. | Требует технической экспертизы для настройки, обслуживания и обеспечения безопасности; предлагает большую кастомизацию. |
| Кастомизация | Ограничена конфигурациями провайдера; меньше гибкости для специфических потребностей. | Полный контроль над кастомизацией модели, дообучением и интеграцией с существующими системами. |
| Пригодность для сценариев использования | Идеально для приложений с переменной или низкой нагрузкой, потребностями в быстрой разработке или ограниченными техническими ресурсами. | Лучше всего подходит для приложений с высокой стабильной нагрузкой, строгими требованиями к конфиденциальности данных или необходимостью в широкой кастомизации. |
Как получить доступ к GLM 4.5 через Novita AI？
Novita AI предоставляет API с контекстом 131K, стоимостью $0,6 за входной токен и $2,2 за выходной, обеспечивая надежную поддержку для максимизации потенциала код-агента GLM 4.5.
Novita AI
Шаг 1: Войдите в аккаунт и перейдите в библиотеку моделей
Войдите в свой аккаунт и нажмите кнопку Библиотека моделей.
Попробуйте GLM 4.5 прямо сейчас!
Шаг 2: Выберите нужную модель
Просмотрите доступные варианты и выберите модель, подходящую для ваших задач.
Шаг 3: Начните бесплатный пробный период
Начните бесплатный пробный период, чтобы изучить возможности выбранной модели.
Шаг 4: Получите ваш API-ключ
Для аутентификации через API мы предоставим вам новый API-ключ. Перейдя на страницу «Настройки», вы можете скопировать API-ключ, как показано на изображении.
Шаг 5: Установите API
Установите API с помощью менеджера пакетов, соответствующего вашему языку программирования.
После установки импортируйте необходимые библиотеки в вашу среду разработки. Инициализируйте API с вашим API-ключом, чтобы начать взаимодействие с LLM Novita AI. Ниже приведен пример использования API завершения чата для пользователей Python.
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="session_UsudmdAIggvSInjIdO2HWaTCyXxTFOXDV8TH8UCPbA576Rs4AGqSA5ThNbelSDgdEGAWQcWXnAU2bHi5BueceA==",
)
model = "zai-org/glm-4.5"
stream = True # or False
max_tokens = 65536
system_content = ""Be a helpful assistant""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
GLM-4.5 и его вариант Air предоставляют мощные решения для агентных приложений с разными требованиями к VRAM, подходящие для различных сценариев развертывания. Оценка ваших конкретных потребностей и ресурсов поможет вам выбрать между локальным развертыванием и решениями на основе API.
Часто задаваемые вопросы
Кто должен использовать GLM 4.5?
GLM-4.5 идеально подходит для разработчиков, исследователей и компаний, которым нужны продвинутые возможности ИИ-агентов, особенно для задач программирования, автоматизации и работы с знаниями.
Что такое GLM-4.5?
GLM-4.5 — это продвинутая большая языковая модель с архитектурой Mixture-of-Experts, оптимизированная для агентных приложений, требующих сложного рассуждения и интеграции с инструментами.
Можно ли развернуть GLM-4.5 без большого объема оборудования?
Да, использование GLM-4.5 через API является альтернативой, которая снижает необходимость в крупных инвестициях в оборудование, хотя может потребовать учета вопросов конфиденциальности данных и сетевой задержки.
Novita AI — это облачная платформа ИИ, которая предлагает разработчикам простой способ развертывания ИИ-моделей с использованием нашего простого API, а также предоставляет доступное и надежное облако GPU для разработки и масштабирования.
