Ключевые моменты
DeepSeek V3 0324 предлагает значительные улучшения в логическом мышлении, решении математических задач, точности вызова функций и специализированном владении языком.
Вы можете начать бесплатную пробную версию на Novita AI!
Важным преимуществом является расширенный контекстный окно на 128 000 токенов, что улучшает понимание длинных текстов.
Цены очень конкурентоспособны: $0,39 за 1 млн входных токенов и $1,3 за 1 млн выходных токенов.
DeepSeek снова поднял планку в области искусственного интеллекта, выпустив DeepSeek-V3-0324 — открытую языковую модель, которая значительно превосходит своих предшественников. Модель легко обходит своих лучших конкурентов, таких как GPT-4.5 и Claude 3.7 Sonnet.
Что такое DeepSeek V3 0324?
Обзор Deepseek V3 0324
| Основная информация | Дата выпуска | 24 марта 2025 года |
| Размер модели | 671B параметров (37B активных/токен) | |
| Открытый исходный код | Открытый | |
| Архитектура | Mixture-of-Experts (MoE) | |
| Возможности | Поддержка вызова функций | |
| Поддержка языков | Поддерживаемые многоязычные языки | Улучшенные возможности китайского языка |
| Мультимодальность | Мультимодальные возможности | Текст в текст |
| Обучение | Обучающие данные | 14,8 триллионов токенов разнообразных данных |
| Размер модели по точности | Тип тензора | BF16/F8_E4M3/F32 |
Ключевые особенности Deepseek V3 0324
Фронтенд-разработка веб-приложений
- Улучшенная выполняемость кода:
- Следуйте лучшим практикам, таким как использование семантического HTML, поддержание чистоты кода и использование систем контроля версий для обеспечения читаемости и поддерживаемости.
- Более эстетичные веб-страницы и игровые интерфейсы:
- Используйте адаптивный дизайн и CSS-фреймворки (например, Sass, Bootstrap) для улучшения визуальной привлекательности и макета на разных устройствах.
Владение китайским письмом
- Улучшенный стиль и качество содержания:
- Изучайте и подражайте стилям, таким как элегантное письмо в Lantingji Xu, чтобы улучшить плавность и изящество письма.
- Лучшее качество в текстах средней и большой длины:
- Используйте структуры, такие как “Ци, Чэн, Чжуань, Хэ” (начало, развитие, поворот, заключение) для четкого логического потока в письме.
Улучшения функций
- Улучшенное многократное интерактивное редактирование:
- Разрабатывайте инструменты с обработкой естественного языка для поддержки многократных диалогов и повышения интерактивности.
- Оптимизированное качество перевода и написание писем:
- Используйте модели машинного обучения, такие как DeepSeek, для улучшения точности перевода и предоставления рекомендаций по стилю написания писем.
Novita AI представила DeepSeek V3 0324, предлагая более длинный контекст на 128 000 токенов и отличную цену ($0,39 / 1 млн входных токенов и $1,3 / 1 млн выходных токенов).
Кроме того, эта версия полностью поддерживает вызов функций.
Вы можете начать бесплатную пробную версию на Novita AI!
Использование DeepSeek V3 0324 локально
Требования к оборудованию
| Модель | Объем VRAM модели | Требования к GPU | Требования к GPU |
| Deepseek V3 0324 | ~1532 ГБ | 24Xh100(80*24ГБ) | 1920 ГБ |
| 4-битная модель | ~386 ГБ | 8Xh100(80*24ГБ) | 640 ГБ |
Или вы можете использовать другие битовые варианты:
источник: unsloth
Пошаговое руководство
Шаг 1: Получение и сборка llama.cpp
1.Клонируйте репозиторий и установите зависимости:
<code>sudo apt-get update sudo apt-get install -y pciutils build-essential cmake curl libcurl4-openssl-dev git clone https://github.com/ggml-org/llama.cpp</code>
2.Соберите llama.cpp:
<code>make llama.cpp -B llama.cpp/build \ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON</code>
3.Скомпилируйте бинарные файлы:
<code>cmake --build llama.cpp/build --config Release -j --clean-first --target llama-quantize llama-cli llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp</code>
Шаг 2: Загрузка модели
1.Установите необходимые библиотеки Python:
<code>pip install huggingface_hub hf_transfer</code>
2.Загрузите модель DeepSeek-V3-0324 в формате GGUF:
import os
from huggingface_hub import snapshot_download
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
snapshot_download(
repo_id="unsloth/DeepSeek-V3-0324-GGUF",
local_dir="unsloth/DeepSeek-V3-0324-GGUF",
allow_patterns=["*UD-Q2_K_XL*"] # Dynamic 2.7-bit (230GB)
)
Шаг 3: Запуск модели
Настройте параметры в зависимости от вашего оборудования:
--threads: Количество потоков CPU (например, 32 для многоядерных CPU).
--ctx-size: Длина контекста (например, 16384 для большого объема памяти).
--n-gpu-layers: Количество слоев, выгружаемых на GPU. Увеличьте для лучшей производительности, но уменьшите, если память GPU закончится. Опустите для инференса только на CPU.
Использование DeepSeek V3 0324 через API
Novita AI — это облачная платформа ИИ, которая предоставляет разработчикам простой способ развертывания моделей ИИ с помощью нашего простого API, а также предлагает доступный и надежный GPU-облако для построения и масштабирования.
Шаг 1: Войдите и откройте библиотеку моделей
Войдите в свою учетную запись и нажмите кнопку Model Library.
Попробуйте демо DeepSeek V3 0324 сейчас!
Шаг 2: Выберите модель
Просмотрите доступные варианты и выберите модель, которая соответствует вашим потребностям.
Шаг 3: Начните бесплатную пробную версию
Начните бесплатную пробную версию, чтобы изучить возможности выбранной модели.
Шаг 4: Получите API-ключ
Для аутентификации в API мы предоставим вам новый API-ключ. Перейдя на страницу “Settings”, вы можете скопировать API-ключ, как показано на изображении.
Шаг 5: Установите API
Установите API с помощью менеджера пакетов, соответствующего вашему языку программирования.
После установки импортируйте необходимые библиотеки в вашу среду разработки. Инициализируйте API с вашим API-ключом, чтобы начать взаимодействие с Novita AI LLM. Вот пример использования API завершения чата для пользователей Python.
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<YOUR Novita AI API Key>",
)
model = "deepseek/deepseek-v3-0324"
stream = True # or False
max_tokens = 2048
system_content = """Be a helpful assistant"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
Использование DeepSeek V3 0324 через Chatbox
Шаг 1: Установите Chatbox
- Выберите опцию “Настройки”. Эта настройка обеспечивает совместимость с API, следующими стандарту OpenAI API, такими как Novita AI.
- Заполните поля конфигурации:
- Base URL: Введите
https://api.novita.ai/v3/openai. - API Key: Вставьте сюда ваш API-ключ Novita AI.
- Model Name: Вставьте скопированное ранее имя модели (например,
deepseek/deepseek-v3-0324).
- Base URL: Введите
- После заполнения конфигурации нажмите Done.
Использование DeepSeek V3 0324 через облачный GPU
Шаг 1：Зарегистрируйте аккаунт
Если вы новичок в Novita AI, начните с создания учетной записи на нашем веб-сайте. После регистрации перейдите на вкладку “GPUs”, чтобы изучить доступные ресурсы и начать свой путь.
Шаг 2：Изучение шаблонов и GPU-серверов
Начните с выбора шаблона, который соответствует потребностям вашего проекта, например, PyTorch, TensorFlow или CUDA. Выберите версию, которая подходит вам, например, PyTorch 2.2.1 или CUDA 11.8.0. Затем выберите конфигурацию GPU-сервера A100, которая обеспечивает высокую производительность для обработки сложных задач с достаточным объемом VRAM, RAM и дискового пространства.
Попробуйте высокопроизводительные GPU от Novita AI
Шаг 3：Настройте развертывание
После выбора шаблона и GPU настройте параметры развертывания, изменив такие параметры, как версия операционной системы (например, CUDA 11.8). Вы также можете настроить другие параметры конфигурации, чтобы адаптировать среду под конкретные требования вашего проекта.
Шаг 4：Запустите экземпляр
После завершения выбора шаблона и настроек развертывания нажмите “Launch Instance”, чтобы запустить ваш GPU-экземпляр. Это запустит настройку среды и позволит вам начать использовать GPU-ресурсы для ваших задач ИИ.
Novita AI интегрируется с 15 платформами
Novita AI интегрирован с 15 платформами, подробные руководства можно найти в документации.
Проверьте, завершена ли интеграция вашего приложения?
DeepSeek V3 0324 представляет собой значительный прогресс в возможностях ИИ, предлагая высокую производительность при доступной цене. Его многоязычные способности, расширенный контекстный окно и поддержка вызова функций делают его универсальным инструментом для разработчиков. Будь то локальное использование или через API Novita AI, DeepSeek V3 0324 предоставляет мощное решение для различных задач ИИ, от обработки естественного языка до мультимодальных приложений.
Часто задаваемые вопросы
Какова цена DeepSeek V3 0324?
Цена составляет $0,39 за 1 млн входных токенов и $1,3 за 1 млн выходных токенов, что делает модель экономически эффективной для разработчиков на Novita AI.
Какое оборудование необходимо для локального запуска DeepSeek V3 0324?
Модель требует значительных аппаратных ресурсов, включая около 1532 ГБ VRAM и 24 GPU H100 с 80 ГБ каждый, в общей сложности 1920 ГБ.
Поддерживает ли DeepSeek V3 0324 вызов функций?
Да, он полностью поддерживает вызов функций, что позволяет разработчикам интегрировать его в более сложные рабочие процессы.
Novita AI — это облачная платформа ИИ, которая предоставляет разработчикам простой способ развертывания моделей ИИ с помощью нашего простого API, а также предлагает доступный и надежный GPU-облако для построения и масштабирования.
