Ключевые моменты
1. Передовая производительность
Превосходное рассуждение: Доминирует в бенчмарках по математике (AIME 2024, MATH-500) и программированию (Codeforces).
Архитектура: MoE + RL-улучшенное обучение с 671B параметров (37B активных на токен).
2. Локальный доступ через Ollama
Установите Ollama; Выполните ollama run deepseek-r1:7b для загрузки; Проверьте с помощью ollama list и взаимодействуйте через терминал.
3. Проблемы локального развертывания
Оборудование: Требуются высокопроизводительные GPU (например, H800) с 24GB+ VRAM.
Память: 671B параметров замедляют загрузку; риск подкачки на диск.
Настройка: Ручная установка весов, библиотек и конфигурации.
Дистиллированные модели: Меньшие версии (например, Qwen-32B) снижают требования к ресурсам, но жертвуют производительностью.
4. Доступ через API: Novita AI предлагает API для DeepSeek R1. Просто зарегистрируйтесь для бесплатного пробного периода и используйте API с простыми запросами.
DeepSeek R1 — это передовая модель ИИ, известная своими сильными способностями к рассуждению, особенно в математике и программировании. Эта статья проведет вас через различные способы доступа к DeepSeek R1: локально или через API.
Что такое DeepSeek R1?
- Дата выхода: 21 января 2025 г.
- Масштаб модели:
- Ключевые особенности:
- Размер модели: 671B параметров (37B активных на токен)
- Токенизатор: Улучшенный токенизатор с тегами саморефлексии
- Поддерживаемые языки: Многоязычный с культурной адаптацией
- Мультимодальность: Только текст
- Контекстное окно: 128K токенов
- Форматы хранения: Поддержка квантизации Q8/Q5
- Архитектура: Mixture of Experts (MoE) + RL-улучшенный пайплайн обучения
- Метод обучения: Построен на базе V3 с RL-пайплайном (SFT → RL → SFT → RL)
- Обучающие данные: База V3 + данные оптимизации RL
https://www.youtube.com/watch?v=ApvcIYDgXzg
Сравнение бенчмарков
DeepSeek-R1 демонстрирует превосходную производительность в большинстве тестов, особенно в задачах, требующих высокой точности и сложных рассуждений (таких как AIME 2024, Codeforces, MATH-500 и MMLU). Он превосходит такие модели, как OpenAI-o1-1217 и OpenAI-o1-mini в этих областях. Однако DeepSeek-R1 показывает более слабые результаты в конкретных задачах, таких как GPQA Diamond и SWE-bench Verified, что указывает на потенциальные области для улучшения по сравнению с моделями вроде Open AI O1.
Применение
- Решение математических задач и генерация кода.
- Задачи сложного логического рассуждения.
- Помощь в диагностике сложных проблем.
- Анализ многошаговых сценариев.
- Синтез инсайтов из больших наборов данных.
- Приложения для обслуживания клиентов.
Как получить доступ к DeepSeek R1 локально
https://www.youtube.com/watch?v=pbCQnDDj-bo
Пошаговая инструкция по установке
1. Установите Ollama
- Перейдите на сайт Ollama, скачайте и установите версию для вашей ОС.
2. Загрузите модель DeepSeek-R1
- Откройте терминал и выполните (на примере версии с 7B параметров): bashCopy
ollama run deepseek-r1:7b(Дождитесь завершения загрузки; время зависит от скорости сети.)
ollama run deepseek-r1:7b
3. Проверьте и запустите
- Проверка установки:
ollama list # Проверьте, появился ли "deepseek-r1" в списке
- Запустите модель:
ollama run deepseek-r1:7b
4. Примеры использования
- Задайте вопрос: bashCopy
>>> "Explain quantum computing in simple terms." - Сгенерируйте код: bashCopy
>>> "Write a Python function to calculate the Fibonacci sequence."
Проблемы локального развертывания
1. Ограничения оборудования
- Высокие требования к ресурсам:
- Требуются высокопроизводительные GPU/TPU (например, H800) с большим объемом VRAM/RAM.
- Ограничения памяти:
- 671B параметров (37B активируется на токен) приводят к медленной загрузке.
- Недостаточный объем VRAM/RAM вызывает подкачку на диск или сбой.
2. Настройка и конфигурация
- Сложная установка:
- Ручные шаги: загрузка весов модели (Hugging Face), установка библиотек (например,
transformers), настройка фреймворков. - Требуются технические знания для оптимизации.
- Ручные шаги: загрузка весов модели (Hugging Face), установка библиотек (например,
- Оптимизация программного обеспечения:
- Необходимо принудительно начинать ответы с
thinking, чтобы обеспечить правильные шаблоны рассуждения.
- Необходимо принудительно начинать ответы с
3. Узкие места производительности
- Медленный вывод:
- Ограничения CPU/GPU и пропускной способности памяти снижают скорость обработки.
- Затраты на обслуживание:
- Ручное обновление для новых версий модели требует постоянных усилий.
4. Компромиссы с дистиллированными моделями
- Снижение потребности в ресурсах:
- Меньшие версии (например, Qwen-32B, Llama-70B) снижают требования к оборудованию.
- Пример: Qwen-32B превосходит OpenAI-o1-mini в бенчмарках.
- Недостатки производительности:
- Жертвуют точностью или возможностями по сравнению с полной моделью на 671B.
- Могут испытывать трудности со сложными задачами, требующими глубокого рассуждения.
Для полной функциональности: выберите доступ через API, чтобы избежать проблем с оборудованием и настройкой.
Как получить доступ к DeepSeek R1 через Novita AI
Novita AI — это облачная платформа ИИ, которая предоставляет разработчикам простой способ развертывания моделей ИИ с помощью нашего простого API, а также предлагает доступное и надежное GPU-облако для создания и масштабирования.
Шаг 1: Войдите в систему и получите доступ к библиотеке моделей
Войдите в свою учетную запись и нажмите кнопку Model Library (Библиотека моделей).
Попробовать демо DeepSeek R1 сейчас!
Шаг 2: Выберите свою модель
Просмотрите доступные варианты и выберите модель, соответствующую вашим потребностям.
Шаг 3: Начните бесплатный пробный период
Начните бесплатный пробный период, чтобы изучить возможности выбранной модели.
Шаг 4: Получите ключ API
Для аутентификации в API мы предоставим вам новый ключ API. Перейдите на страницу «Settings» (Настройки), где вы можете скопировать ключ API, как показано на изображении.
Шаг 5: Установите API
Установите API с помощью менеджера пакетов, подходящего для вашего языка программирования.
После установки импортируйте необходимые библиотеки в среду разработки. Инициализируйте API с помощью вашего ключа API, чтобы начать взаимодействие с Novita AI LLM. Это пример использования chat completions API для пользователей Python.
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<YOUR Novita AI API Key>",
)
model = "deepseek/deepseek_r1"
stream = True # or False
max_tokens = 2048
system_content = """Be a helpful assistant"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
При регистрации Novita AI предоставляет кредит в размере $0.5, чтобы вы могли начать работу!
Если бесплатные кредиты закончатся, вы можете оплатить дальнейшее использование.
Какие методы подходят вам?
-
Исследователи: Локальный доступ обычно предпочтителен для гибкости и контроля над экспериментами.
-
Разработчики:
- Доступ через API подходит для создания приложений и быстрого прототипирования.
- Локальный доступ лучше подходит для тонкой настройки и пользовательских рабочих процессов.
-
Бизнес: Доступ через API выгоден для быстрой интеграции в сервисы без высоких первоначальных затрат. Локальное развертывание может подойти командам с постоянными требованиями и возможностью инвестировать в инфраструктуру.
-
Небольшие команды/частные лица: Доступ через API обычно более практичен из-за более низких стартовых затрат.
-
Пользователи с ограниченными техническими навыками: Доступ через API предпочтителен, так как устраняет необходимость в глубоких технических знаниях.
В заключение, DeepSeek R1 — это впечатляющая модель с передовыми способностями к рассуждению. Независимо от того, решите ли вы запускать её локально или использовать API, вам нужно будет учитывать компромиссы между контролем, стоимостью и удобством. Тщательно взвесив эти факторы и конкретные рекомендации из этой статьи, вы сможете выбрать наилучший метод доступа для ваших целей.
Часто задаваемые вопросы
DeepSeek R1 лучше, чем OpenAI o1?
DeepSeek R1 предлагает сопоставимую производительность, особенно в задачах рассуждения, с дополнительным преимуществом в виде открытого исходного кода и более низкой стоимости.
Как я могу донастроить DeepSeek R1?
Будучи моделью с открытым исходным кодом, DeepSeek R1 можно донастроить для конкретных задач, при условии наличия вычислительных ресурсов и данных.
Как обучаются модели?
DeepSeek R1 значительно дешевле, чем модели OpenAI o1.
Novita AI — это универсальная облачная платформа, которая расширяет ваши AI-амбиции. Интегрированные API, безсерверные решения, GPU-инстансы — экономически эффективные инструменты, которые вам нужны. Устраните инфраструктуру, начните бесплатно и воплотите свое AI-видение в реальность.
