ERNIE 4.5 — передовая модель смеси экспертов (MoE) с открытым весом от Baidu — теперь доступна на Novita AI!
Вот текущие цены на ERNIE 4.5 на Novita AI:
baidu/ernie-4.5-vl-28b-a3b: контекст 30k, бесплатно
baidu/erine-4.5–21B-a3b: контекст 120k, бесплатно
baidu/erine-4.5–0.3b: контекст 120k, бесплатно
baidu/erine-4.5-vl-424b-a47b: контекст 123k, $0.42/M токенов на входе, $1.25/M токенов на выходе
baidu/ernie-4.5–300b-a47b-paddle: контекст 123k, $0.3/M токенов на входе, $1/M токенов на выходе
Попробовать демо ERNIE-4.5-300B-A47B
Что такое ERNIE 4.5?
ERNIE 4.5 — это новейшая серия моделей с открытым исходным кодом от Baidu, включающая 10 различных моделей. В линейку входят модели смеси экспертов (MoE) с 47 и 3 миллиардами активируемых параметров — самая крупная модель достигает 424 миллиардов параметров — а также плотная модель с 0,3 миллиарда параметров.
Архитектурная инновация: Эти модели используют инновационную мультимодальную гетерогенную структуру модели, которая достигает кросс-модального слияния знаний через механизм совместного использования параметров между модальностями, сохраняя при этом выделенные пространства параметров для отдельных модальностей. Такая архитектура хорошо подходит для парадигмы непрерывного предобучения от больших языковых моделей к мультимодальным моделям, значительно улучшая способности к мультимодальному пониманию, сохраняя или даже улучшая производительность на текстовых задачах.
Фреймворк и обучение: Все модели серии ERNIE 4.5 обучаются, выполняют вывод и развертываются эффективно с использованием фреймворка глубокого обучения PaddlePaddle. Во время предобучения большой языковой модели утилизация FLOPs модели (MFU) достигает 47%.
Производительность и возможности
Достижения в бенчмарках: Результаты экспериментов показывают, что эта серия моделей достигает самых современных результатов (SOTA) во множестве текстовых и мультимодальных бенчмарков, особенно выдающиеся результаты в:
- Следование инструкциям — понимание и выполнение сложных команд
- Сохранение мировых знаний — всестороннее хранение и воспроизведение фактологических знаний
- Визуальное понимание — продвинутые способности к пониманию изображений
- Мультимодальные задачи рассуждения — сложные рассуждения на основе текстовых и визуальных входных данных
Характеристики модели (ERNIE-4.5-300B-A47B):
- Всего параметров: 300B, из которых 47B активируется на токен
- Архитектура: 54 слоя, 64 query heads / 8 key-value heads
- Конфигурация экспертов: 64 текстовых эксперта (8 активируется) / 64 визуальных эксперта (8 активируется)
- Длина контекста: 131 072 токена
- Модальность: Текст с возможностями мультимодального обучения
Доступность и развертывание:
- Лицензия Apache 2.0 — веса модели с открытым исходным кодом для академических исследований и промышленного применения
- Инструментарий промышленного уровня — на основе комплексного набора PaddlePaddle с поддержкой ERNIEKit
- Широкая совместимость с чипами — работает на различных аппаратных платформах, снижая барьеры для дообучения и развертывания
- Отличная производительность вывода — множество вариантов развертывания, включая FastDeploy, Transformers и интеграцию с vLLM
- Гибкая квантизация — опции 4-бит, 2-бит и FP8 для различных ограничений ресурсов
Технические инновации
Предобучение мультимодальной модели смеси экспертов
Подход: ERNIE 4.5 выполняет совместное обучение на текстовой и визуальной модальностях, чтобы лучше улавливать тонкие различия в мультимодальной информации, повышая производительность в генерации текста, понимании изображений и мультимодальных задачах рассуждения.
Инновация: Чтобы обеспечить взаимное усиление двух модальностей во время обучения и предотвратить ситуацию, когда одна модальность мешает обучению другой, Baidu предлагает гетерогенную структуру модели смеси экспертов для нескольких модальностей с:
- Маршрутизацией, изолированной по модальностям, для специализированного распределения экспертов
- Ортогональной потерей маршрутизатора для улучшения специализации экспертов
- Сбалансированной мультимодальной потерей токенов для оптимального использования ресурсов между модальностями
Продвинутая оптимизация: Эти архитектурные решения гарантируют, что обе модальности эффективно представлены, что позволяет взаимно продвигать и улучшать мультимодальные способности во время обучения.
Эффективный фреймворк для обучения и вывода
Оптимизации обучения: Для поддержки эффективного обучения моделей ERNIE 4.5 Baidu предлагает гетерогенный гибридный параллелизм и иерархические стратегии балансировки нагрузки. Благодаря нескольким передовым технологиям они значительно повышают пропускную способность предобучения:
- Внутриузловой параллелизм экспертов — оптимизированная параллельная обработка внутри вычислительных узлов
- Планирование конвейера с эффективным использованием памяти — интеллектуальное управление памятью во время обучения
- Обучение со смешанной точностью FP8 — продвинутые методы численной точности
- Детализированное перевычисление — стратегическое перевычисление для эффективности памяти
Прорывы в выводе: Для оптимизации вывода они предлагают несколько передовых методов:
- Метод многократного параллельного взаимодействия экспертов — совместная обработка между экспертами модели
- Алгоритм квантизации свёрточных кодов — продвинутые методы кодирования для сжатия
- Квантизация с почти без потерь: достижение 4-битной и 2-битной квантизации с минимальной деградацией производительности
- PD разобщение с динамическим переключением ролей — адаптивное развертывание, которое может более полно использовать ресурсы и улучшать производительность вывода моделей ERNIE 4.5 MoE
Постобучение, специфичное для модальности
Целевая оптимизация: Для удовлетворения различных требований в практических сценариях Baidu выполняет тонкую настройку предобученных моделей, специфичную для модальности:
Большие языковые модели (LLM):
- Оптимизированы специально для общего понимания и генерации языка
Модели «зрение-язык» (VLM):
- Фокус на понимание визуального языка
- Поддержка как режима размышления, так и режима без размышления
Многоэтапный конвейер обучения: Каждая модель использует многоэтапное постобучение с использованием передовых техник:
- SFT (контролируемая тонкая настройка) — обучение на размеченных примерах
- DPO (оптимизация на основе предпочтений) — прямая оптимизация на основе предпочтений
- UPO (унифицированная оптимизация предпочтений) — собственная техника унифицированной оптимизации предпочтений от Baidu
Развертывание и интеграция
Модели ERNIE-4.5 могут быть развернуты с использованием FastDeploy, Hugging Face Transformers или vLLM. Различные уровни квантизации и серверные фреймворки позволяют моделям эффективно работать на различных аппаратных конфигурациях:
- Модели полной точности требуют много GPU (обычно 16 GPU с не менее 80 ГБ VRAM каждый).
- Квантизованные модели (например, WINT4, W4A8C8 или WINT2) значительно снижают потребность в VRAM. Например, WINT4 или W4A8C8 могут работать на 4–8×80 ГБ GPU, а WINT2 позволяет развернуть модель на одном GPU при наличии не менее 141 ГБ VRAM.
- Интеграция с Transformers позволяет гибкое использование, но всё ещё требует значительного объёма VRAM для больших моделей.
- vLLM идеален для высокопроизводительного вывода на нескольких GPU. Квантизованные модели помогают уложиться в доступную память GPU.
- Рекомендуемые параметры сэмплирования: Temperature=0.8, Top-P=0.8
Как получить доступ к ERNIE 4.5-300B-A47B на Novita AI
Начало работы с ERNIE 4.5-300B-A47B на Novita AI просто и безрисково. Новые пользователи получают бесплатные кредиты на $10 — достаточно для изучения ERNIE 4.5-300B-A47B без первоначальных затрат.
Используйте Playground (без кода)
Мгновенный доступ: Зарегистрируйтесь, получите бесплатные кредиты и начните экспериментировать с ERNIE 4.5 и другими топовыми моделями за секунды.
Интерактивный интерфейс: Тестируйте запросы, цепочки рассуждений и визуализируйте результаты в реальном времени.
Сравнение моделей: Легко переключайтесь между ERNIE 4.5, Qwen 3, Llama 4, DeepSeek и другими, чтобы найти идеальное решение для ваших задач.
Интеграция через API (для разработчиков)
Бесшовно подключайте ERNIE 4.5 к приложениям, рабочим процессам или чат-ботам с помощью единого REST API от Novita AI. Никакого управления весами моделей или инфраструктурными заботами — Novita AI предоставляет многозычные SDK (Python, Node.js, cURL) и расширенные элементы управления параметрами.
Вариант 1: Прямая интеграция API (пример на Python)
curl "https://api.novita.ai/v3/openai/chat/completions" \
-H "Content-Type: application/json" \
-H "Authorization: Bearer " \
-d @- << 'EOF'
{
"model": "baidu/ernie-4.5-300b-a47b-paddle",
"messages": [
{
"role": "system",
"content": Be a helpful assistant
},
{
"role": "user",
"content": "Hi there!"
}
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="",
)
model = "baidu/ernie-4.5-300b-a47b-paddle"
stream = True # or False
max_tokens = 6000
system_content = ""Be a helpful assistant""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
"response_format": { "type": "text" },
"max_tokens": 32768,
"temperature": 1,
"top_p": 1,
"min_p": 0,
"top_k": 50,
"presence_penalty": 0,
"frequency_penalty": 0,
"repetition_penalty": 1
}
EOF
Вариант 2: Многоагентные рабочие процессы с OpenAI Agents SDK
Создавайте продвинутые многоагентные системы, интегрируя Novita AI с OpenAI Agents SDK:
- Подключай и работай: Используйте ERNIE 4.5 от Novita AI в любом рабочем процессе OpenAI Agents
- Поддержка передачи задач, маршрутизации и использования инструментов: Создавайте агентов, которые могут делегировать, сортировать или выполнять функции, все на основе возможностей ERNIE 4.5
- Интеграция с Python: Просто укажите SDK endpoint Novita (
https://api.novita.ai/v3/openai) и используйте свой API-ключ
Подключите API ERNIE 4.5 на сторонних платформах
-
Hugging Face: Используйте ERNIE 4.5 в Spaces, пайплайнах или с библиотекой Transformers через endpoints Novita AI.
-
Агентные и оркестровые фреймворки: Легко подключайте Novita AI к партнёрским платформам, таким как Continue, AnythingLLM, LangChain, Dify и Langflow с помощью официальных коннекторов и пошаговых руководств по интеграции.
-
Совместимый с OpenAI API: Наслаждайтесь беззаботной миграцией и интеграцией с такими инструментами, как Cline и Cursor, созданными для стандарта OpenAI API.
Заключение
ERNIE 4.5 — это универсальная серия моделей ИИ с открытым исходным кодом, которая сочетает в себе передовую архитектуру смеси экспертов с инновационным мультимодальным обучением. Она обеспечивает мощную и эффективную производительность как в языковых, так и в визуальных задачах, что делает её прочной основой для приложений ИИ следующего поколения.
Готовы ощутить будущее рассуждений ИИ? Попробуйте ERNIE 4.5 на Novita AI.
Novita AI — это облачная платформа ИИ, которая предоставляет разработчикам простой способ развёртывания моделей ИИ с помощью простого API, а также предлагает доступное и надёжное облако GPU для создания и масштабирования.
