Серия Qwen 3.5 Medium (27B, 35B-A3B, 122B-A10B) предлагает языковые модели корпоративного уровня с различными требованиями к VRAM:
- 27B: 17–54 ГБ (Q4_K_M — BF16)
- 35B-A3B: 22–69 ГБ (Q4_K_M — BF16)
- 122B-A10B: 77–244 ГБ (Q4_K_M — BF16)
Развёртывайте на Novita AI с гибкими вариантами GPU (H100, RTX 5090, RTX 4090) или через serverless API без управления инфраструктурой.
Что такое серия Qwen 3.5 Medium
Серия Qwen 3.5 Medium включает три высокопроизводительные языковые модели, предназначенные для производственных приложений:
- Qwen3.5-27B: 27B параметров, сбалансированная производительность для общих задач
- Qwen3.5-35B-A3B: всего 35B параметров, из которых 3B активны на токен (архитектура MoE)
- Qwen3.5-122B-A10B: всего 122B параметров, из которых 10B активны на токен (архитектура MoE)
Эти модели отлично справляются с рассуждениями, написанием кода, многоязычным пониманием и обработкой длинных контекстов.
Понимание требований к VRAM критически важно для экономически эффективного развёртывания — независимо от того, используете ли вы выделенные GPU или бессерверную инфраструктуру.
Требования к VRAM в зависимости от модели и точности
Потребности в VRAM значительно различаются в зависимости от точности квантования. Ниже приведены требования к памяти на основе данных совместимости оборудования от Hugging Face.
⚠️ Примечание: указанные значения соответствуют размеру весов модели. Фактическое использование VRAM во время инференса будет на 10–30% выше в зависимости от размера пакета, длины контекста и накладных расходов KV-кэша. Рекомендуется выбирать GPU с запасом не менее 10–20%.
Qwen3.5-27B-GGUF
| Квантование | VRAM (ГБ) | Рекомендуемое оборудование |
| BF16 | 54 | GPU: A100 × 1 (80 ГБ) / H100 × 1 (80 ГБ) |
| Q8_0 | 29 | CPU: Intel Sapphire Rapids 16× vCPU · 32 ГБ ОЗУ GPU: A100 40 ГБ / RTX 4090 24 ГБ (более быстрый инференс) |
| Q4_K_M | 17 | CPU: Intel Sapphire Rapids 16× vCPU · 32 ГБ ОЗУ GPU: RTX 4090 24 ГБ / L40S 48 ГБ (более быстрый инференс) |
💡 CPU vs GPU: При точности Q8_0 и Q4_K_M модель помещается в современные лимиты ОЗУ CPU (32–64 ГБ). Однако инференс на GPU в 10–50 раз быстрее в зависимости от размера пакета. Для производственных нагрузок, требующих низкой задержки или высокой пропускной способности, настоятельно рекомендуется развёртывание на GPU.
Qwen3.5-35B-A3B-GGUF
| Квантование | VRAM (ГБ) | Рекомендуемое оборудование |
| BF16 | 69 | GPU: A100 × 1 (80 ГБ) / H100 × 1 (80 ГБ) |
| Q8_0 | 37 | GPU: L40S × 1 (48 ГБ) / A100 40 ГБ |
| Q4_K_M | 22 | CPU: Intel Sapphire Rapids 16× vCPU · 32 ГБ ОЗУ GPU: RTX 4090 24 ГБ / L40S 48 ГБ (более быстрый инференс) |
Qwen3.5-122B-A10B-GGUF
| Квантование | VRAM (ГБ) | Рекомендуемое оборудование |
| BF16 | 244 | GPU: A100 × 4 (320 ГБ) / H100 × 4 (320 ГБ) |
| Q8_0 | 130 | GPU: A100 × 2 (160 ГБ) / H100 × 2 (160 ГБ) |
| Q4_K_M | 77 | GPU: A100 × 1 (80 ГБ) / H100 × 1 (80 ГБ) |
💡 Примечание: Модель 122B требует высокопроизводительных GPU даже при агрессивном квантовании из-за своего размера. Многопроцессорные конфигурации GPU обязательны для точности BF16 и Q8_0.
Развёртывание на Novita AI
Novita AI предоставляет гибкие варианты развёртывания для серии Qwen 3.5 Medium, балансируя производительность, стоимость и простоту использования.
Развёртывание на GPU (рекомендуется для пользователей, ориентированных на VRAM)
Novita AI предлагает высокопроизводительные GPU, оптимизированные для развёртывания моделей Qwen 3.5, с гибкими вариантами оплаты:
Рекомендуемые конфигурации GPU
| Модель | Квантование | Требуемая VRAM | Рекомендуемый GPU | Сценарий использования |
| 27B | BF16 | 54 ГБ | H100 80 ГБ / RTX 5090 32 ГБ × 2 | Продакшн, максимальное качество |
| 27B | Q8_0 | 29 ГБ | RTX 5090 32 ГБ / RTX 4090 24 ГБ × 2 | Сбалансированная производительность |
| 27B | Q4_K_M | 17 ГБ | RTX 4090 24 ГБ | Экономичный инференс |
| 35B-A3B | BF16 | 69 ГБ | H100 80 ГБ | Продакшн, максимальное качество |
| 35B-A3B | Q8_0 | 37 ГБ | RTX 5090 32 ГБ × 2 / H100 80 ГБ | Сбалансированная производительность |
| 35B-A3B | Q4_K_M | 22 ГБ | RTX 4090 24 ГБ | Экономичный инференс |
| 122B-A10B | BF16 | 244 ГБ | H100 80 ГБ × 4 | Корпоративный, макс. качество |
| 122B-A10B | Q8_0 | 130 ГБ | H100 80 ГБ × 2 | Сбалансированная производительность |
| 122B-A10B | Q4_K_M | 77 ГБ | H100 80 ГБ | Экономичный инференс |
Почему развёртывание на GPU от Novita AI?
Novita AI предоставляет варианты GPU для различных уровней производительности, чтобы соответствовать вашей рабочей нагрузке и бюджету:
- Корпоративные GPU: конфигурации с большим объёмом VRAM для точности BF16 и Q8_0
- Высокопроизводительные потребительские GPU: сбалансированное соотношение цены и производительности для моделей среднего размера
- Экономичные варианты: доступные конфигурации для квантованных моделей (Q4_K_M)
- Многопроцессорные конфигурации: плавное масштабирование от 1× до 8× GPU
- Гибкая оплата: по требованию, спотовые экземпляры и serverless GPU (оплата за секунду)
- Мгновенное развёртывание: предварительно настроенные шаблоны для быстрой настройки
Serverless API (альтернатива без управления инфраструктурой)
Для пользователей, предпочитающих полное отсутствие управления инфраструктурой, Novita AI предлагает конечные точки Serverless API с интерфейсами, совместимыми с OpenAI.
Поддерживаемые модели
| Модель | ID модели |
| Qwen3.5-27B | qwen/qwen3.5-27b |
| Qwen3.5-35B-A3B | qwen/qwen3.5-35b-a3b |
| Qwen3.5-122B-A10B | qwen/qwen3.5-122b-a10b |
- Базовый URL: https://api.novita.ai/openai
Как получить API-ключ
- Зарегистрируйтесь на Novita AI
- Перейдите в раздел API Keys в панели управления
- Нажмите Create New Key и скопируйте ваш API-ключ
- Пополните баланс, чтобы начать использовать API
Быстрый пример:
from openai import OpenAI
client = OpenAI(
api_key="<Ваш API-ключ>",
base_url="https://api.novita.ai/openai"
)
response = client.chat.completions.create(
model="qwen/qwen3.5-35b-a3b",
messages=[
{"role": "system", "content": "Вы — полезный ассистент."},
{"role": "user", "content": "Привет, как дела?"}
],
max_tokens=65536,
temperature=0.7
)
print(response.choices[0].message.content)
Выбор подходящей точности
BF16 (полная точность)
- Сценарий: производственные среды, требующие максимального качества
- Компромисс: самые высокие требования к VRAM
- Лучше всего подходит для: корпоративных приложений, исследовательских бенчмарков
Q8_0 (8-битное квантование)
- Сценарий: сбалансированная производительность и эффективность
- Компромисс: потеря качества ~1–2%, снижение VRAM на 50%
- Лучше всего подходит для: высокопроизводительного инференса, затрато-чувствительного продакшна
Q4_K_M (4-битное квантование)
- Сценарий: экономичное развёртывание на потребительских GPU
- Компромисс: потеря качества ~3–5%, снижение VRAM на 70–75%
- Лучше всего подходит для: разработки, тестирования, развёртываний с ограниченным бюджетом
Заключение
Серия Qwen 3.5 Medium предлагает мощные языковые модели для различных корпоративных задач с требованиями к VRAM от 17 ГБ (27B Q4_K_M) до 244 ГБ (122B BF16).
Ключевые выводы:
- Выбирайте квантование, исходя из компромисса между качеством и стоимостью
- Инференс на GPU в 10–50 раз быстрее, чем на CPU, для производственных нагрузок
- Novita AI предоставляет гибкое развёртывание: аренда GPU (по требованию / спотовые) или serverless API
Следующие шаги:
- Определите необходимый размер модели и точность
- Изучите цены на GPU или конечные точки API от Novita AI
- Разверните за минуты с помощью предварительно настроенных шаблонов
Novita AI — это облачная платформа AI, которая предоставляет разработчикам простой способ развёртывания моделей AI через наш простой API, а также предлагает доступные и надёжные GPU-облака для создания и масштабирования.
Часто задаваемые вопросы
Что такое VRAM?
VRAM (видеопамять с произвольным доступом) — это выделенная память на вашем GPU, используемая для хранения весов модели, активаций и промежуточных вычислений во время инференса. Для LLM, таких как Qwen 3.5, требования к VRAM масштабируются в зависимости от размера модели и точности: более крупные модели и более высокая точность (например, BF16) требуют больше VRAM, чем квантованные версии (например, Q4_K_M). Недостаток VRAM приведёт к ошибкам нехватки памяти или вынудит использовать инференс на CPU, что значительно медленнее.
Могу ли я запускать модели Qwen 3.5 Medium на CPU?
Да, небольшие квантованные модели (Q8_0 и Q4_K_M) могут работать на CPU с 32–64 ГБ ОЗУ. Однако инференс на CPU в 10–50 раз медленнее, чем на GPU, что делает его непрактичным для производственных нагрузок или приложений реального времени. Для достижения наилучшей производительности настоятельно рекомендуется развёртывание на GPU, даже для квантованных моделей.
В чём разница между BF16, Q8_0 и Q4_K_M?
BF16 (16-бит) — полная точность с максимальным качеством, но самым высоким потреблением VRAM. Q8_0 (8-бит) снижает VRAM на ~50% с минимальной потерей качества (~1–2%). Q4_K_M (4-бит) сокращает VRAM на 70–75%, но может привести к снижению качества на 3–5% — идеально подходит для затрато-чувствительных развёртываний, где допустимы небольшие компромиссы в точности.
