ERNIE 4.5 — это семейство продвинутых моделей ИИ от Baidu для мощной текстовой и мультимодальной обработки. С вариантами как для крупномасштабного, так и для легковесного развертывания, ERNIE 4.5 обеспечивает эффективную производительность и экономически выгодный доступ для разработчиков и бизнеса. Работаете ли вы с текстом, изображениями или с тем и другим, получить доступ к ERNIE 4.5 можно легко через веб-интерфейсы, API и облачные платформы — без сложной настройки.
Краткое введение в ERNIE 4.5
ERNIE 4.5 — это семейство продвинутых моделей ИИ, разработанных Baidu, ориентированных на эффективную мультимодальную и текстовую обработку. Эти модели используют архитектуры Mixture of Experts (MoE) для более крупных вариантов и плотные (dense) архитектуры для меньших. Они поддерживают текстовые и визуальные модальности, с опциями для предобучения (PT) и базовых версий. Ниже представлена таблица ключевых вариантов моделей и диаграмма, выделяющая инновации ERNIE в процессе обучения ИИ.
| Model | Base | Active | Type | Modality | Train |
|---|---|---|---|---|---|
| ERNIE 4.5 VL 424B A47B | 424B | 47B | MoE | T+V | PT |
| ERNIE 4.5 VL 424B A47B Base | 424B | 47B | MoE | T+V | Base |
| ERNIE 4.5 VL 28B A3B | 28B | 3B | MoE | T+V | PT |
| ERNIE 4.5 VL 28B A3B Base | 28B | 3B | MoE | T+V | Base |
| ERNIE 4.5 VL 28B A3B Thinking | 28B | 3B | MoE | T+V | PT |
| ERNIE 4.5 300B A47B | 300B | 47B | MoE | Text | PT |
| ERNIE 4.5 300B A47B Base | 300B | 47B | MoE | Text | Base |
| ERNIE 4.5 21B A3B | 21B | 3B | MoE | Text | PT |
| ERNIE 4.5 21B A3B Base | 21B | 3B | MoE | Text | Base |
| ERNIE 4.5 21B A3B Thinking | 21B | 3B | MoE | Text | PT |
| ERNIE 4.5 0.3B | 0.3B | – | Dense | Text | PT |
| ERNIE 4.5 0.3B Base | 0.3B | – | Dense | Text | Base |
Процесс обучения ИИ: выделенные инновации ERNIE
1. Мультимодальное гетерогенное предобучение MoE
Совместное предобучение текста и изображений с гетерогенной структурой MoE, модально-изолированной маршрутизацией и сбалансированными мультимодальными потерями.
2. Масштабируемая эффективная инфраструктура
Гибридный параллелизм, иерархическая балансировка нагрузки, экспертный параллелизм, планирование с оптимизацией памяти и без потерь квантование для высокой пропускной способности и эффективного вывода.
3. Пост-обучение для конкретных модальностей
Тонкая настройка для текстовых или визуальных задач, поддержка SFT, DPO и UPO для удовлетворения разнообразных потребностей реальных приложений.
Сравнение производительности: ERNIE 4.5 против GPT-4o
ERNIE 4.5 обеспечивает превосходную производительность и исключительную экономическую эффективность по сравнению с GPT-4o, что делает его высококонкурентоспособным выбором для крупномасштабных развертываний ИИ. Это цены на Novita AI!
-
- $0.336 за 1M входных токенов
- $1 за 1M выходных токенов
-
- $0.224 за 1M входных токенов
- $0.88 за 1M выходных токенов
-
ERNIE 4.5 21B A3B / ERNIE-4.5-21B-A3B-Thinking
- $0.056 за 1M входных токенов
- $0.224 за 1M выходных токенов
-
- $0.112 за 1M входных токенов
- $0.448 за 1M выходных токенов
-
- $0.39 за 1M входных токенов
- $0.39 за 1M выходных токенов
Из Интернета
Доступ к ERNIE 4.5 через платформу Baidu (бесплатный пробный доступ)
Вы можете попробовать его напрямую через веб-интерфейс платформы Baidu без установки. Просто посетите сайт и начните бесплатный пробный доступ мгновенно.
В качестве альтернативы вы можете использовать Novita API Playground для экспериментов с ERNIE 4.5 в удобной для разработчиков среде.
Локальный доступ к ERNIE 4.5
Каковы системные требования для использования Ernie 4.5?
Точность FP16
| Модель | Параметры (активные) | Требуется VRAM | Идеальный GPU |
|---|---|---|---|
| ERNIE 4.5 VL 424B | 424B (47B активные) | ~945 GB | NVIDIA H100 (80GB) × 12 |
| ERNIE 4.5 300B | 300B (47B активные) | ~668 GB | NVIDIA H100 (80GB) × 9 |
| ERNIE 4.5 VL 28B / ERNIE 4.5 VL 28B A3B Thinking | 28B (3B активные) | ~80 GB | NVIDIA A100/H100 (80GB) |
| ERNIE 4.5 21B / ERNIE 4.5 21B A3B Thinking | 21B (3B активные) | ~48 GB | NVIDIA RTX 4090 (24GB) X2 |
| ERNIE 4.5 0.3B | 300M | ~2.5 GB | NVIDIA RTX 4090 (8GB) / RTX 3060 (12GB) |
Точность INT4
| Модель | Параметры (активные) | Требуется VRAM | Идеальный GPU |
|---|---|---|---|
| ERNIE 4.5 VL 424B | 424B (47B активные) | ~237 GB | NVIDIA H100 (80GB) × 3 |
| ERNIE 4.5 300B | 300B (47B активные) | ~168 GB | NVIDIA H100 (80GB) × 3 |
| ERNIE 4.5 VL 28B / ERNIE 4.5 VL 28B A3B Thinking | 28B (3B активные) | ~17 GB | NVIDIA RTX 4090 (24GB) / A10G (24GB) |
| ERNIE 4.5 21B / ERNIE 4.5 21B A3B Thinking | 21B (3B активные) | ~13 GB | NVIDIA RTX 4080 (16GB) / A10G (24GB) |
| ERNIE 4.5 0.3B | 300M | ~1.8 GB | Большинство GPU с >4GB VRAM |
На основе официального ERNIEToolkit и релиза с открытым исходным кодом:
- ОС: настоятельно рекомендуется Linux (Ubuntu или аналогичная).
- Фреймворк: требуется PaddlePaddle (последняя версия).
- Для вывода/обучения: используйте ERNIEKit (на основе PaddlePaddle).
- Развертывание может быть ускорено с помощью FastDeploy.
- Зависимости:
- Python 3.8+
- CUDA и cuDNN, соответствующие вашей конфигурации GPU.
- Для окружения PyTorch: модели также доступны через
transformersсtrust_remote_code=True
Если покупка GPU кажется слишком дорогой, вы можете воспользоваться экономичными и надежными облачными GPU-сервисами Novita AI. Например, вы можете получить доступ к инстансу 1x H100 SXM 80GB с 80 GB VRAM всего за $2.56 в час или масштабироваться до 8 GPU за $20.48 в час.
Доступ к ERNIE 4.5 из Python-приложения
-
Hugging Face: Используйте ERNIE 4.5 в Spaces, pipelines или с библиотекой Transformers через конечные точки Novita AI.
-
Фреймворки для агентов и оркестрации: Легко подключайте Novita AI к партнерским платформам, таким как Continue, AnythingLLM, LangChain, Dify и Langflow через официальные коннекторы и пошаговые руководства по интеграции.
-
OpenAI-совместимый API: Легкая миграция и интеграция с такими инструментами, как Cline и Cursor, разработанными для стандарта OpenAI API.
Более подробную информацию можно найти в Документации
Доступ к ERNIE 4.5 через API
Шаг 1: Войдите в систему и откройте библиотеку моделей
Войдите в свою учетную запись и нажмите кнопку Model Library.
Шаг 2: Выберите вашу модель
Просмотрите доступные варианты и выберите модель, которая соответствует вашим потребностям.
Шаг 3: Начните бесплатный пробный доступ
Начните бесплатный пробный доступ, чтобы изучить возможности выбранной модели.
Шаг 4: Получите ваш API-ключ
Для аутентификации в API мы предоставим вам новый API-ключ. Перейдите на страницу Settings и скопируйте API-ключ, как показано на изображении.
Шаг 5: Установите API
Установите API с помощью менеджера пакетов, соответствующего вашему языку программирования.
После установки импортируйте необходимые библиотеки в вашу среду разработки. Инициализируйте API с вашим API-ключом, чтобы начать взаимодействие с Novita AI LLM. Это пример использования chat completions API для пользователей Python.
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="",
)
model = "baidu/ernie-4.5-300b-a47b-paddle"
stream = True # or False
max_tokens = 6000
system_content = ""Be a helpful assistant""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
Доступ к ERNIE 4.5 является гибким и простым — выберите подход, который подходит вашему рабочему процессу: от мгновенных веб-проб до надежной интеграции через API и локального развертывания. Благодаря превосходной производительности и эффективной цене, ERNIE 4.5 является практичным выбором для приложений ИИ следующего поколения.
Часто задаваемые вопросы
Действительно ли ERNIE 4.5 лучше других больших моделей ИИ?
Да, ERNIE 4.5 набирает более высокие баллы, чем DeepSeek V3 671B, в большинстве тестов и очень конкурентоспособен с другими ведущими моделями.
Каковы системные требования для локального запуска ERNIE 4.5?
Требования варьируются в зависимости от размера модели, но вам понадобится система Linux, Python 3.8+, PaddlePaddle и совместимый NVIDIA GPU. Доступны облачные GPU, если у вас нет локального оборудования.
Сколько VRAM нужно для запуска ERNIE 4.5?
Запуск самых больших версий ERNIE 4.5 (например, 424B или 300B) требует очень большого объема VRAM — сотни ГБ и несколько высококлассных GPU. Меньшие или квантованные версии требуют гораздо меньше VRAM.
Novita AI — это универсальная облачная платформа, которая дает мощный импульс вашим ИИ-амбициям. Интегрированные API, бессерверные вычисления, GPU-инстансы — экономически эффективные инструменты, которые вам нужны. Откажитесь от инфраструктуры, начните бесплатно и воплотите свое ИИ-видение в реальность.
