Ключевые моменты
DeepSeek V3 представляет инновационные архитектурные особенности, такие как MoE и MLA, значительно повышая эффективность и длину контекста.
Экономическая эффективность DeepSeek V3 впечатляет: низкие затраты на обучение и плата за использование API дешевле, чем у конкурентов.
Пользователи могут получить доступ к DeepSeek V3 через API Novita AI или развернуть его локально, что обеспечивает гибкость для различных потребностей и ресурсов.
DeepSeek, инновационная модель ИИ, взлетела к мировой славе в конце января 2025 года. После выпуска модели V3 и приложения, открытие исходного кода инференционной модели R1 20 января вызвало всемирный интерес. В течение нескольких дней приложение DeepSeek поднялось на вершину магазина приложений США, обогнав технологических гигантов. В этой статье мы рассмотрим, как получить к нему доступ, сравним локальное развертывание с доступом через API и дадим рекомендации для разных потребностей пользователей.
Что такое DeepSeek-V3
DeepSeek V3 — это современная открытая большая языковая модель на основе смеси экспертов (MoE), разработанная компанией Beijing DeepSeek Technology Co., Ltd. Эта продвинутая модель имеет 671 миллиард параметров, из которых при инференции активируется только 37 миллиардов на токен, что оптимизирует производительность и минимизирует потребление ресурсов. DeepSeek V3 создана для конкуренции с ведущими моделями, такими как GPT, особенно превосходя их в задачах кодирования и технических заданиях.
Ключевые особенности
- Архитектура смеси экспертов (MoE): DeepSeek V3 использует фреймворк MoE с тонкими методами динамической балансировки нагрузки, что устраняет необходимость в вспомогательных потерях.
- Многоголовое скрытое внимание (MLA): Эта функция повышает эффективность инференции за счет сжатия ключей и значений внимания, снижая потребление памяти и позволяя модели обрабатывать длинные контекстные окна до 128K токенов.
- Многотокенное предсказание (MTP): MTP позволяет DeepSeek V3 предсказывать несколько токенов одновременно, улучшая как эффективность обучения, так и скорость инференции.
- Обучение со смешанной точностью FP8: Модель использует 8-битную плавающую точность для обучения, что снижает затраты памяти и вычислений.
- Двуязычная поддержка: DeepSeek V3 оптимизирован как для английского, так и для китайского языков, что делает его подходящим для многоязычных приложений на этих языках.
Как показано на графике, DeepSeek-V3 достигает оптимального баланса между высокой производительностью и низкой стоимостью благодаря инновационному архитектурному дизайну, что делает его эталоном соотношения производительности и цены. Этот дизайн позволяет DeepSeek-V3 выделяться среди множества моделей, делая его универсальным выбором для различных бюджетов и требований к задачам.
- Крупномасштабные задачи инференции (например, пакетная генерация контента).
- Предприятия и небольшие и средние команды, уделяющие большое внимание экономической эффективности.
- Задачи, связанные с математикой, генерацией кода и сложными логическими рассуждениями.
DeepSeek-V3 теперь доступен на Novita AI! Наслаждайтесь невероятно низкими ценами за миллион токенов как для ввода, так и для вывода — не упустите возможность получить доступ к передовому ИИ по непревзойденной цене!
Сравнение с другими моделями
DeepSeek-V3 — это мощная модель, превосходно работающая в нескольких областях, особенно в работе с профессиональными знаниями, базовой математикой и задачами программирования. Однако у нее есть возможности для улучшения в продвинутых рассуждениях и приложениях в конкретных доменах. Это указывает на направления будущих улучшений, такие как повышение способности решать открытые задачи, сложные математические рассуждения и производительность в сценариях практической программной инженерии.
Если вы хотите увидеть более детальное сравнение параметров, вы можете ознакомиться со статьями: Deepseek v3 vs Llama 3.3 70b: языковые задачи vs код и математика; Llama 3.2 3B vs DeepSeek V3: сравнение эффективности и производительности.
Как получить доступ к DeepSeek-V3 локально
Требования к оборудованию и рекомендации по конфигурации
-
Операционная система
- Windows 10 или новее
- macOS 10.15 или новее
- Linux (Ubuntu 18.04+)
-
CPU
- Многоядерный процессор (минимум 4 ядра)
-
GPU
- Рекомендуются NVIDIA GPU для более быстрой инференции
- Минимум 8 ГБ VRAM для меньших дистиллятов R1
- Требуется больше VRAM для полной модели 671B
- Возможна работа только на CPU, но значительно медленнее
-
Память (RAM)
- 8 ГБ: достаточно для самых маленьких версий (1.5B или 7B)
- 16 ГБ или более: рекомендуется для моделей среднего размера (14B или 32B)
-
Хранилище
- Требуется 4–50 ГБ свободного места в зависимости от загружаемого размера R1
-
Программные требования
- Python 3.10 для официальных скриптов R1
Пошаговая инструкция по установке
1.Клонируйте репозиторий:
git clone https://github.com/deepseek-ai/DeepSeek-V3.git
2.Перейдите в папку инференции и установите зависимости:
cd DeepSeek-V3/inference
pip install -r requirements.txt
3.Загрузите веса модели:
Загрузите веса модели с Hugging Face и поместите их в указанный каталог (например, /path/to/DeepSeek-V3).
4.Конвертируйте веса модели:
Используйте предоставленный скрипт convert.py для преобразования весов в определенный формат. Например:
python convert.py --hf-ckpt-path /path/to/DeepSeek-V3 --save-path /path/to/DeepSeek-V3-Demo --n-experts 256 --model-parallel 16
5.Запустите DeepSeek-V3:
Используйте команду torchrun для запуска модели. Измените параметры по мере необходимости для вашей конфигурации. Пример:
torchrun --nnodes 2 --nproc-per-node 8 --node-rank $RANK --master-addr $ADDR generate.py --ckpt-path /path/to/DeepSeek-V3-Demo --config configs/config_671B.json --interactive --temperature 0.7 --max-new-tokens 200
6.Пакетная инференция (опционально):
Для пакетной инференции по заданному файлу:
torchrun --nnodes 2 --nproc-per-node 8 --node-rank $RANK --master-addr $ADDR generate.py --ckpt-path /path/to/DeepSeek-V3-Demo --config configs/config_671B.json --input-file $FILE
Как получить доступ к DeepSeek-V3 через Novita AI
Novita AI — это облачная платформа ИИ, которая предоставляет разработчикам простой способ развертывания моделей ИИ с помощью нашего простого API, а также предлагает доступный и надежный GPU-облако для создания и масштабирования.
Шаг 1: Войдите и получите доступ к библиотеке моделей
Войдите в свою учетную запись и нажмите кнопку Model Library.
Попробуйте DeepSeek V3 Demo сейчас!
Шаг 2: Выберите свою модель
Просмотрите доступные варианты и выберите модель, которая соответствует вашим потребностям.
Шаг 3: Начните бесплатный пробный период
Начните бесплатный пробный период, чтобы изучить возможности выбранной модели.
Шаг 4: Получите ваш API-ключ
Для аутентификации при использовании API мы предоставим вам новый API-ключ. Зайдите на страницу «Settings», вы можете скопировать API-ключ, как показано на изображении.
Шаг 5: Установите API
Установите API с помощью менеджера пакетов, специфичного для вашего языка программирования.
После установки импортируйте необходимые библиотеки в вашу среду разработки. Инициализируйте API с вашим API-ключом, чтобы начать взаимодействие с Novita AI LLM. Это пример использования API завершений чата для пользователей Python.
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<YOUR Novita AI API Key>",
)
model = "deepseek/deepseek_v3"
stream = True # or False
max_tokens = 2048
system_content = """Be a helpful assistant"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
После регистрации Novita AI предоставляет кредит в размере $0.5, чтобы вы могли начать!
Если бесплатные кредиты закончатся, вы можете оплатить, чтобы продолжить использование.
Какие методы подходят вам?
Сравнение локального доступа и доступа через API
| Функция | Локальное развертывание | Доступ через API |
|---|---|---|
| Контроль | Высокий | Ограниченный |
| Настройка | Гибкая | Ограниченная |
| Требования к оборудованию | Высокие | Низкие |
| Первоначальная стоимость | Высокая | Низкая |
| Масштабируемость | Ограниченная | Высокая |
| Сложность обслуживания | Высокая | Низкая |
| Защита конфиденциальности | Сильная | Зависит от провайдера |
Рекомендации для разных групп пользователей
-
Для исследователей и разработчиков
- Рекомендация: Локальное развертывание DeepSeek V3.
- Почему: Обеспечивает полный контроль над моделью, позволяя проводить обширную настройку и оптимизацию.
- Соображения: Требует значительных аппаратных ресурсов и продвинутых технических знаний.
-
Для стартапов и малого и среднего бизнеса
- Рекомендация: Используйте API DeepSeek V3, предоставляемый Novita AI.
- Преимущества: Экономически эффективно, легко интегрируется и масштабируется для удовлетворения меняющихся потребностей бизнеса.
- Лучшие случаи использования: Быстрое прототипирование идей и создание приложений на основе ИИ без крупных первоначальных вложений.
В заключение, DeepSeek V3 — это мощная модель с открытым исходным кодом, которая демонстрирует выдающуюся производительность в задачах кодирования, математики и рассуждений. Она предлагает гибкость для различных сценариев использования, будь то локальное развертывание или доступ через API. В то время как локальное развертывание обеспечивает полный контроль, оно требует значительных аппаратных ресурсов. Альтернативно, такие платформы, как Novita AI, предлагают более доступный и удобный способ использования возможностей модели. Оптимальный выбор зависит от требований вашего проекта, технического опыта и бюджета.
Часто задаваемые вопросы
Как DeepSeek V3 достигает своей эффективности?
DeepSeek V3 использует архитектуру смеси экспертов (MoE), активируя только 37 миллиардов параметров на токен. Он использует многоголовое скрытое внимание (MLA) и цель многотокенного предсказания (MTP) для снижения потребления ресурсов и ускорения как обучения, так и инференции.
Каковы ключевые преимущества DeepSeek V3?
DeepSeek V3 превосходен в задачах кодирования, математики, рассуждений и общих знаний, а также имеет сильную многоязычную поддержку для английского и китайского языков. Он демонстрирует исключительную производительность в различных бенчмарках, часто превосходя другие модели с открытым исходным кодом и даже закрытые модели.
Каковы требования к VRAM для DeepSeek V3?
Требования к VRAM для DeepSeek V3 различаются в зависимости от точности. Для FP16 модель 671B требует приблизительно 1 543 ГБ VRAM, в то время как при 4-битной квантизации требуется приблизительно 386 ГБ VRAM. Активные параметры составляют 37B.
Novita AI — это облачная платформа «все в одном», которая поддерживает ваши амбиции в области ИИ. Интегрированные API, бессерверные решения, GPU-инстансы — экономически эффективные инструменты, которые вам нужны. Устраните инфраструктуру, начните бесплатно и воплотите свое видение ИИ в реальность.
