Мир открытых инноваций совершает значительный скачок вперед с выходом DeepSeek V3 — продвинутой модели генерации кода, которая обещает изменить подход разработчиков к выполнению задач программирования. Теперь доступная на платформе Novita AI, эта революционная модель предоставляет разработчикам, исследователям и энтузиастам технологий беспрецедентные возможности.
Что такое DeepSeek V3?
DeepSeek V3 — это современная модель большого языка с архитектурой «Смесь экспертов» (MoE), насчитывающая 671 миллиард параметров, из которых 37 миллиардов активируются на каждый токен во время вывода. Выпущенная как открытая модель, она позволяет разработчикам решать сложные задачи кодирования, рассуждения, математики и генерации текста.
DeepSeek V3 выделяется своей эффективной архитектурой и экономичным обучением. Для её обучения потребовалось всего 2,788 миллиона часов работы GPU H800, что обошлось примерно в 5,5 миллиона долларов — значительно меньше ресурсов, необходимых для аналогичных закрытых моделей, таких как GPT-4. Благодаря инновационным методам, таким как Multi-Head Latent Attention (MLA) и Multi-Token Prediction (MTP), DeepSeek V3 обеспечивает исключительную производительность, оставаясь масштабируемой и доступной.
Ключевые особенности DeepSeek V3
1. Архитектура «Смесь экспертов» (MoE)
DeepSeek V3 использует фреймворк MoE с методами точной динамической балансировки нагрузки. В отличие от традиционных моделей MoE, она исключает необходимость вспомогательных потерь, обеспечивая эффективное распределение вычислительных ресурсов без снижения производительности.
2. Multi-Head Latent Attention (MLA)
MLA повышает эффективность вывода за счёт сжатия ключей и значений внимания, уменьшая накладные расходы памяти, сохраняя при этом высокое качество внимания. Это позволяет DeepSeek V3 обрабатывать длинные контекстные окна до 128K токенов, что делает её идеальной для задач с расширенным текстовым вводом.
3. Multi-Token Prediction (MTP)
Цель MTP позволяет DeepSeek V3 одновременно предсказывать несколько токенов, что повышает эффективность обучения и скорость вывода. Эта возможность особенно полезна для генерации длинного контента или решения сложных задач.
4. Обучение со смешанной точностью FP8
DeepSeek V3 использует точность FP8 (8-битное число с плавающей запятой) для обучения, сокращая затраты памяти и вычислений, сохраняя числовую стабильность. Это нововведение позволяет модели масштабироваться эффективно без необходимости в значительном аппаратном обеспечении.
5. Поддержка английского и китайского языков
DeepSeek V3 оптимизирована для английского и китайского языков, что делает её отличным выбором для разработчиков, создающих многоязычные приложения на этих двух широко используемых языках. Хотя модель не поддерживает широкий спектр языков, она превосходна в этих конкретных областях.
Производительность DeepSeek V3 в бенчмарках
DeepSeek V3 последовательно превосходит многие открытые и даже закрытые модели в различных бенчмарках. Ниже приведено сравнение её производительности:
- Превосходство в кодировании:
- DeepSeek V3 достигает 82,6% на HumanEval-Mul (Pass@1) и 51,6% на Codeforces, что делает её надёжным решением для задач генерации и оценки кода.
- На LiveCodeBench (Pass@1-COT) она значительно опережает своих предшественников с результатом 40,5% и конкурентоспособна с другими моделями.
- Математическое мышление:
- DeepSeek V3 лидирует в MATH-500 (90,2%) и показывает отличные результаты в CNMO 2024 (Pass@1) и AIME 2024, демонстрируя способность решать сложные математические задачи.
- Многоязычные возможности:
- С результатами 90,9% на CLUEWSC и 86,5% на C-Eval DeepSeek V3 закрепляется как отличная модель для задач на китайском языке, сохраняя при этом высокую производительность в английских бенчмарках, таких как MMLU (88,5%).
- Общие знания и рассуждение:
- Она достигает 91,6% на DROP (3-shot F1) и 89,1% на MMLU-Redux, демонстрируя свою полезность для задач, требующих интенсивного использования знаний.
Варианты развёртывания DeepSeek V3
DeepSeek V3 предлагает гибкость в развёртывании, позволяя пользователям бесшовно интегрировать её в свои рабочие процессы. Предпочитаете ли вы запускать модель локально или в облаке, она поддерживает множество аппаратных средств и программных инструментов сообщества с открытым исходным кодом. Вот рекомендуемые варианты развертывания:
- DeepSeek-Infer Demo: Простое и лёгкое демо для вывода в FP8 и BF16, предоставляющее простой способ тестирования модели.
- SGLang: Полностью поддерживает модель DeepSeek-V3 в режимах вывода BF16 и FP8, с поддержкой Multi-Token Prediction в ближайшее время.
- LMDeploy: Обеспечивает эффективный вывод FP8 и BF16 как для локального, так и для облачного развертывания.
- TensorRT-LLM: В настоящее время поддерживает вывод BF16 и квантизацию INT4/INT8, с планами поддержки FP8 в будущих обновлениях.
- vLLM: Поддерживает DeepSeek V3 в режимах FP8 и BF16, обеспечивая тензорный параллелизм и конвейерный параллелизм для эффективного масштабирования.
Доступ к API DeepSeek V3 через Novita AI
Платформа Novita AI упрощает развёртывание DeepSeek V3, предоставляя предварительно настроенные API и доступную облачную инфраструктуру GPU. Разработчики могут интегрировать модель в свои приложения без необходимости настройки оборудования или масштабирования.
Чтобы начать работу с DeepSeek V3 на Novita AI, выполните следующие шаги:
Шаг 1: Перейдите на Novita AI и войдите, используя свою учётную запись Google, GitHub или адрес электронной почты.
Шаг 2: Попробуйте демо DeepSeek V3.
Шаг 3: Отслеживайте консоль метрик LLM модели на Novita AI.
Шаг 4: Получите свой API-ключ:
- Перейдите в «Управление ключами» в настройках.
- При первом входе создаётся ключ по умолчанию.
- Сгенерируйте дополнительные ключи, нажав «+ Добавить новый ключ».
Шаг 5: Настройте среду разработки и укажите такие параметры, как содержимое, роль, имя и промпт.
Интеграция API
Novita AI предоставляет клиентские библиотеки для Curl, Python и JavaScript, что упрощает интеграцию DeepSeek-R1 Instruct в ваши проекты:
Для пользователей Python:
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<YOUR Novita AI API Key>",
)
model = "deepseek/deepseek_v3"
stream = True # or False
max_tokens = 8192
system_content = """Be a helpful assistant"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
Для пользователей JavaScript:
import OpenAI from "openai";
const openai = new OpenAI({
baseURL: "https://api.novita.ai/v3/openai",
apiKey: "<YOUR Novita AI API Key>",
});
const stream = true; // or false
async function run() {
const completion = await openai.chat.completions.create({
messages: [
{
role: "system",
content: "Be a helpful assistant",
},
{
role: "user",
content: "Hi there!",
},
],
model: "deepseek/deepseek_v3",
stream,
response_format: { type: "text" },
max_tokens: 8192,
temperature: 1,
top_p: 1,
min_p: 0,
top_k: 50,
presence_penalty: 0,
frequency_penalty: 0,
repetition_penalty: 1
});
if (stream) {
for await (const chunk of completion) {
if (chunk.choices[0].finish_reason) {
console.log(chunk.choices[0].finish_reason);
} else {
console.log(chunk.choices[0].delta.content);
}
}
} else {
console.log(JSON.stringify(completion));
}
}
run();
Для пользователей Curl:
curl "https://api.novita.ai/v3/openai/chat/completions" \
-H "Content-Type: application/json" \
-H "Authorization: Bearer <YOUR Novita AI API Key>" \
-d @- << 'EOF'
{
"model": "deepseek/deepseek_v3",
"messages": [
{
"role": "system",
"content": "Be a helpful assistant"
},
{
"role": "user",
"content": "Hi there!"
}
],
"response_format": { "type": "text" },
"max_tokens": 8192,
"temperature": 1,
"top_p": 1,
"min_p": 0,
"top_k": 50,
"presence_penalty": 0,
"frequency_penalty": 0,
"repetition_penalty": 1
}
EOF
Раскройте возможности DeepSeek V3 уже сегодня
DeepSeek V3 представляет собой прорыв в области открытого AI, сочетая масштабируемость, экономичность и исключительную производительность. Вместе с универсальными вариантами развёртывания на GPU и облачных платформах DeepSeek V3 является мощным инструментом для разработчиков и бизнеса.
Начните работу с DeepSeek V3 на Novita AI уже сегодня и раскройте потенциал передового AI для ваших проектов.
О компании Novita AI
Novita AI — это облачная платформа AI, предоставляющая разработчикам простой способ развёртывания моделей AI с помощью нашего простого API, а также доступный и надёжный облачный сервис GPU для создания и масштабирования.
