Посоветуйте друзьям и оба получите по $10 кредитов на LLM API — в сумме вас ждут до $500 вознаграждений!
Llama 3.2 1B, Qwen2.5 7B, Qwen 3 (0.6B, 1.7B, 4B), GLM 4 — все бесплатно доступны на Novita AI, чтобы ускорить ваши проекты без лишних затрат!
Начать разработку с Novita AI сегодня!
Хотите использовать мощь продвинутого ИИ без огромных затрат на оборудование? DeepSeek R1 Distill Qwen 7B достигает 90% производительности массивной модели DeepSeek R1 671B, при этом значительно снижая требования к аппаратному обеспечению. Благодаря квантованной версии, работающей на среднебюджетных GPU (от 4.5 ГБ VRAM), эта модель позволяет разработчикам эффективно и недорого решать задачи математического мышления, многоязычной обработки текста и многое другое.
Эта статья покажет вам, как DeepSeek R1 Distill Qwen 7B может вам помочь!
Что такое DeepSeek R1 Distill Qwen 7B?
Бенчмарки DeepSeek R1 Distill Qwen 7B
| Модель | AIME 2024 pass@1 | AIME 2024 cons@64 | MATH-500 pass@1 | GPQA Diamond pass@1 | LiveCodeBench pass@1 | CodeForces rating |
| GPT 4o 0513 | 9.3 | 13.4 | 74.6 | 49.9 | 32.9 | 759 |
| Claude 3.5 Sonnet 1022 | 16.0 | 26.7 | 78.3 | 65.0 | 38.9 | 717 |
| o1 mini | 63.6 | 80.0 | 90.0 | 60.0 | 53.8 | 1820 |
| QwQ 32B Preview | 44.0 | 60.0 | 90.6 | 54.5 | 41.9 | 1316 |
| DeepSeek R1 Distill Qwen 7B | 55.5 | 83.3 | 92.8 | 49.1 | 37.6 | 1189 |
DeepSeek R1 Distill Qwen 7B — сильный конкурент в задачах математического рассуждения, показывая конкурентоспособные результаты по общей производительности.
Однако он отстаёт в общих QA и программных бенчмарках по сравнению с лучшими моделями, такими как o1 mini и QwQ 32B Preview.
Его исключительные математические результаты, вероятно, связаны с базовой моделью Qwen 2.5 Math, оптимизированной для задач рассуждения.
Системные требования DeepSeek R1 Distill Qwen 7B
| Тип модели | Название | Размер | Требования к оборудованию |
|---|---|---|---|
| Полная модель | DeepSeek-R1-Distill-Qwen-7B | ~18 ГБ | NVIDIA RTX 4090 (24 ГБ VRAM) или выше |
| Квантованная модель | DeepSeek-R1-Distill-Qwen-7B | ~4.5 ГБ | NVIDIA RTX 3060 (12 ГБ VRAM) или выше |
Благодаря дистилляции DeepSeek R1 Distill Qwen 7B значительно снижает требования к оборудованию, сохраняя более 90% производительности оригинальной модели 671B, особенно в математическом рассуждении и QA-задачах. Его квантованная модель ещё больше повышает доступность, позволяя развёртывание на среднебюджетных GPU.
DeepSeek R1 Distill Qwen 7B против других маленьких моделей
DeepSeek R1 Distill Qwen 7B против Qwen 2.5 7B
| Категория | DeepSeek R1 Distill Qwen 7B | Qwen-2.5-7B |
|---|---|---|
| Размер модели | 7.62B | 7.61B |
| Открытый исходный код | Да | Да |
| Архитектура | Transformer | Transformer |
| Поддержка языков | 29+ языков | 29+ языков |
| Мультимодальность | Только текст | Только текст |
| Обучающие данные | Тонкая настройка на данных рассуждений | 18 триллионов токенов |
| MATH (pass@1) | 92.8 | 49.8 |
| GPQA (pass@1) | 49.1 | 36.4 |
| VRAM (полная модель) | 18 ГБ (RTX 4090 или выше) | 17.18 ГБ (RTX 4090) |
DeepSeek-R1-Distill-Qwen-7B: силён в математических задачах, более низкие требования к оборудованию (доступна квантованная модель).
Qwen-2.5-7B: сбалансированная производительность, отлично справляется с программированием и многоязычными задачами, обучен на более крупном наборе данных.
DeepSeek R1 Distill Qwen 7B против Qwen 3 8B
| Категория | DeepSeek R1 Distill Qwen 7B | Qwen 3 8B |
|---|---|---|
| Размер модели | 7.62B | 8.19B |
| Открытый исходный код | Да | Да |
| Архитектура | Transformer | Dense |
| Поддержка языков | 29+ языков | 119 языков |
| Мультимодальность | Только текст | Только текст |
| MATH (pass@1) | 92.8 | 90.0 |
| GPQA (pass@1) | 49.1 | 59.0 |
| VRAM (полная модель) | 18 ГБ (RTX 4090) | 17.89 ГБ (RTX 4090) |
DeepSeek: лучше всего подходит для математических задач и требует меньше GPU (квантованная модель).
Qwen 3 8B: лучше для многоязычных задач и приложений с длинным контекстом.
DeepSeek R1 Distill Qwen 7B против Llama 3.1 8B
| Категория | DeepSeek R1 Distill Qwen 7B | Llama 3.1 8B |
|---|---|---|
| Размер модели | 7.62B | 8B |
| Открытый исходный код | Да | Да |
| Архитектура | Transformer | Dense Transformer |
| Поддержка языков | 29+ языков | 8 языков |
| Мультимодальность | Только текст | Текст, код (ввод/вывод) |
| Обучающие данные | Тонкая настройка на данных рассуждений | Предобучение на ~15T токенов, тонкая настройка на 25M синтетических примеров |
| MATH (pass@1) | 92.8 | 51.9 (CoT) |
| GPQA (pass@1) | 49.1 | 30.4 |
| VRAM (полная модель) | 18 ГБ (RTX 4090, FP16) | 17.17 ГБ (RTX 3090, FP16) |
DeepSeek-R1-Distill-Qwen-7B: сильнее в задачах математики и рассуждения.
Llama 3.1 8B: превосходит в генерации кода и поддерживает более длинный контекст (128 000 токенов), что делает его лучше для сложных задач с длинным контекстом.
Как получить доступ к дистиллированным моделям DeepSeek R1?
Novita AI — это облачная платформа для ИИ, которая предоставляет разработчикам простой способ развёртывания AI-моделей через наш простой API, а также предлагает доступное и надёжное GPU-облако для создания и масштабирования.
Помимо дистиллированных моделей DeepSeek R1, Novita AI также предоставляет бесплатно Qwen2.5 7B, Qwen 3 (0.6B, 1.7B, 4B), GLM 4 для поддержки развития сообщества открытого исходного кода!
Шаг 1: Войдите в систему и откройте библиотеку моделей
Войдите в свою учётную запись и нажмите кнопку Model Library.
Попробовать дистиллированные модели DeepSeek R1? Сейчас!
Шаг 2: Выберите модель и начните бесплатный пробный период
Просмотрите доступные варианты и выберите модель, которая подходит вашим задачам.
Шаг 3: Получите API-ключ
Для аутентификации в API мы предоставим вам новый API-ключ. Перейдите на страницу «Settings», чтобы скопировать API-ключ, как показано на изображении.
Шаг 4: Установите API
Установите API с помощью менеджера пакетов, соответствующего вашему языку программирования.
После установки импортируйте необходимые библиотеки в вашу среду разработки. Инициализируйте API с вашим API-ключом, чтобы начать взаимодействие с LLM Novita AI. Пример использования chat completions API для пользователей Python:
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="session_nkvtuVXXxS-LlR7txjZ3Rox8GhLMuv1R8IrIySNwTPN7xHJ0SVErFx3kNwJgkUEpcSM4F8c6zmcvyfuc1h59gw==",
)
model = "deepseek/deepseek-r1-distill-llama-8b"
stream = True # or False
max_tokens = 2048
system_content = ""Be a helpful assistant""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
DeepSeek-R1-Distill-Qwen-7B — это высокооптимизированная модель для задач математического рассуждения, достигающая исключительных результатов в бенчмарках, таких как MATH. Хотя она немного отстаёт по общим QA и задачам программирования от других лучших моделей, её более низкие требования к оборудованию (с возможностью использования квантованной модели) делают её доступной для более широкой аудитории.
Часто задаваемые вопросы
Что такое DeepSeek R1 Distill Qwen 7B?
DeepSeek-R1-Distill-Qwen-7B — это тонко настроенная дистиллированная версия Qwen 2.5 Math, оптимизированная для математических рассуждений и QA-задач. Она поддерживает многоязычную обработку текста и предлагает квантованную модель для развёртывания на среднебюджетных GPU.
Каковы аппаратные требования для DeepSeek R1 Distill Qwen 7B?
Полная модель: ~18 ГБ VRAM (NVIDIA RTX 4090 или выше).
Квантованная модель: ~4.5 ГБ VRAM (NVIDIA RTX 3060 или выше).
Зачем использовать DeepSeek R1 Distill Qwen 7B?
Qwen3-Reranker-8B достигает лучших показателей:
MTEB-R: 69.02,
CMTEB-R: 77.45,
MTEB-Code: 81.22
Он превосходит популярные модели, такие как BGE и GTE, в нескольких категориях.
Novita AI — это универсальная облачная платформа, которая расширяет ваши AI-амбиции. Интегрированные API, бессерверные вычисления, GPU-инстансы — все необходимые экономичные инструменты. Откажитесь от инфраструктуры, начните бесплатно и воплотите свою AI-мечту в реальность.
