API do Modelo MoE BaiDu ERNIE 4.5 Agora Disponível na Novita AI

O ERNIE 4.5, o modelo Mixture-of-Experts (MoE) de pesos abertos mais avançado da Baidu, agora está disponível na Novita AI!

Aqui estão os preços atuais do ERNIE 4.5 na Novita AI:

baidu/ernie-4.5-vl-28b-a3b: 30k de contexto, gratuito

baidu/erine-4.5–21B-a3b: 120k de contexto, gratuito

baidu/erine-4.5–0.3b: 120k de contexto, gratuito

baidu/erine-4.5-vl-424b-a47b: 123k de contexto, $0,42/M tokens de entrada, $1,25/M tokens de saída

baidu/ernie-4.5–300b-a47b-paddle: 123k de contexto, $0,3/M tokens de entrada, $1/M tokens de saída

Experimente o Demo do ERNIE-4.5-300B-A47B Agora

O que é o ERNIE 4.5?

O ERNIE 4.5 é a mais recente série de modelos open-source da Baidu, composta por 10 modelos diferentes. A linha inclui modelos Mixture-of-Experts (MoE) com 47 bilhões e 3 bilhões de parâmetros ativados — o maior modelo atinge um total de 424 bilhões de parâmetros — além de um modelo denso com 0,3 bilhão de parâmetros.

Inovação Arquitetural: Esses modelos utilizam uma estrutura inovadora de modelo heterogêneo multimodal que alcança fusão de conhecimento cross-modal através de um mecanismo de compartilhamento de parâmetros cross-modal, preservando espaços de parâmetros dedicados para modalidades individuais. Essa arquitetura é altamente adequada para o paradigma de pré-treinamento contínuo de grandes modelos de linguagem para modelos multimodais, melhorando significativamente as capacidades de compreensão multimodal, mantendo ou até melhorando o desempenho em tarefas de texto.

Framework e Treinamento: Todos os modelos da série ERNIE 4.5 são treinados, inferidos e implantados de forma eficiente usando o framework de aprendizado profundo PaddlePaddle. Durante o pré-treinamento do grande modelo de linguagem, a Utilização de FLOPs do Modelo (MFU) atinge 47%.

Desempenho e Capacidades

Conquistas em Benchmarks: Os resultados experimentais mostram que esta série de modelos atinge desempenho de ponta (SOTA) em múltiplos benchmarks de texto e multimodal, com resultados particularmente destacados em:

• Seguimento de instruções - Entendimento e execução de comandos complexos
• Retenção de conhecimento mundial - Armazenamento e recuperação abrangente de conhecimento factual
• Compreensão visual - Capacidades avançadas de compreensão de imagens
• Tarefas de raciocínio multimodal - Raciocínio complexo entre entradas de texto e visuais

Especificações do Modelo (ERNIE-4.5-300B-A47B):

• Parâmetros Totais: 300B com 47B ativados por token
• Arquitetura: 54 camadas, 64 cabeças de consulta / 8 cabeças de chave-valor
• Configuração de Especialistas: 64 especialistas em texto (8 ativados) / 64 especialistas em visão (8 ativados)
• Comprimento de Contexto: 131.072 tokens
• Modalidade: Texto com capacidades de treinamento multimodal

Acessibilidade e Implantação:

• Licença Apache 2.0 - Pesos do modelo são open-source para pesquisa acadêmica e aplicações industriais
• Kit de desenvolvimento de nível industrial - Baseado no conjunto abrangente do PaddlePaddle com suporte ERNIEKit
• Ampla compatibilidade de chips - Funciona em várias plataformas de hardware, reduzindo barreiras para pós-treinamento e implantação
• Excelente desempenho de inferência - Múltiplas opções de implantação, incluindo FastDeploy, Transformers e integração vLLM
• Quantização flexível - Opções de 4 bits, 2 bits e FP8 para diferentes restrições de recursos

Inovações Técnicas

Pré-treinamento do Modelo Mixture of Experts Multimodal

A Abordagem: O ERNIE 4.5 realiza treinamento conjunto entre modalidades de texto e visuais para capturar melhor diferenças sutis em informações multimodais, melhorando o desempenho em geração de texto, compreensão de imagens e tarefas de raciocínio multimodal.

A Inovação: Para permitir o aprimoramento mútuo entre as duas modalidades durante o aprendizado, evitando que uma modalidade atrapalhe o aprendizado da outra, a Baidu propõe uma estrutura de modelo heterogêneo mixture of experts multimodal com:

• Roteamento isolado por modalidade para alocação especializada de especialistas
• Perda ortogonal do roteador para aumentar a especialização dos especialistas
• Perda balanceada de tokens multimodais para utilização ideal de recursos entre modalidades

Otimização Avançada: Essas escolhas arquiteturais garantem que ambas as modalidades sejam representadas de forma eficaz, permitindo promoção e melhoria mútua multimodal durante o treinamento.

Framework Eficiente de Treinamento e Inferência

Otimizações de Treinamento: Para suportar o treinamento eficiente dos modelos ERNIE 4.5, a Baidu propõe estratégias de paralelismo híbrido heterogêneo e balanceamento de carga hierárquico. Através de múltiplas tecnologias avançadas, eles melhoram significativamente a taxa de transferência do pré-treinamento:

• Paralelismo intra-nó de especialistas - Processamento paralelo otimizado dentro de nós de computação
• Agendamento eficiente de pipeline com economia de memória - Gerenciamento inteligente de memória durante o treinamento
• Treinamento de precisão mista FP8 - Técnicas avançadas de precisão numérica
• Recomputação refinada - Recomputação estratégica para eficiência de memória

Avanços em Inferência: Para otimização da inferência, eles propõem vários métodos de ponta:

• Método de colaboração paralela multi-especialista - Processamento colaborativo entre especialistas do modelo
• Algoritmo de quantização de código convolutional - Técnicas avançadas de codificação para compressão
• Quantização quase sem perdas: Alcançando quantização de 4 bits e quantização de 2 bits com degradação mínima de desempenho
• Dissociação PD com alternância dinâmica de papéis - Implantação adaptativa que pode utilizar recursos mais plenamente e melhorar o desempenho de inferência dos modelos MoE ERNIE 4.5

Pós-Treinamento Específico por Modalidade

Otimização Personalizada: Para atender diferentes requisitos em cenários práticos, a Baidu realiza ajuste fino específico por modalidade nos modelos pré-treinados:

Grandes Modelos de Linguagem (LLMs):

• Otimizados especificamente para compreensão e geração de linguagem geral

Modelos de Visão-Linguagem (VLMs):

• Foco em compreensão visual-linguística
• Suporte a modos de operação modo pensamento e modo não pensamento

Pipeline de Treinamento Multi-Estágio: Cada modelo emprega pós-treinamento multi-estágio usando técnicas avançadas:

• SFT (Supervised Fine-Tuning) - Aprendizado a partir de exemplos supervisionados
• DPO (Direct Preference Optimization) - Otimização direta baseada em preferências
• UPO (Unified Preference Optimization) - Técnica proprietária de otimização de preferência unificada da Baidu

Implantação e Integração

Os modelos ERNIE-4.5 podem ser implantados usando FastDeploy, Hugging Face Transformers ou vLLM. Diferentes níveis de quantização e frameworks de serviço permitem que os modelos sejam executados eficientemente em várias configurações de hardware:

• Modelos de precisão total exigem muitas GPUs (tipicamente 16 GPUs com pelo menos 80GB de VRAM cada).
• Modelos quantizados (como WINT4, W4A8C8 ou WINT2) reduzem drasticamente as necessidades de VRAM. Por exemplo, WINT4 ou W4A8C8 podem rodar em 4–8×80GB GPUs, enquanto WINT2 permite implantação em GPU única se você tiver pelo menos 141GB de VRAM.
• Integração com Transformers permite uso flexível, mas ainda requer VRAM substancial para modelos grandes.
• vLLM é ideal para inferência multi-GPU de alto throughput. Modelos quantizados ajudam a caber na memória GPU disponível.
• Amostragem recomendada: Temperature=0.8, Top-P=0.8

Como Acessar o ERNIE 4.5-300B-A47B na Novita AI

Começar com o ERNIE 4.5-300B-A47B na Novita AI é simplificado e sem riscos. Novos usuários recebem $10 em créditos gratuitos — suficientes para explorar o ERNIE 4.5-300B-A47B sem custos iniciais.

Use o Playground (Sem Necessidade de Codificação)

Acesso Instantâneo: Cadastre-se, ganhe seus créditos gratuitos e comece a experimentar o ERNIE 4.5 e outros modelos principais em segundos.

Interface Interativa: Teste prompts, raciocínio em cadeia de pensamento e visualize resultados em tempo real.

Comparação de Modelos: Alterne facilmente entre ERNIE 4.5, Qwen 3, Llama 4, DeepSeek e muito mais para encontrar o ajuste perfeito para suas necessidades.

Integre via API (Para Desenvolvedores)

Conecte perfeitamente o ERNIE 4.5 a aplicações, fluxos de trabalho ou chatbots usando a API REST unificada da Novita AI. Sem gerenciamento de pesos de modelo ou preocupações com infraestrutura — a Novita AI fornece SDKs multi-idioma (Python, Node.js, cURL) e controles avançados de parâmetros.

Opção 1: Integração Direta com API (Exemplo em Python)

curl "https://api.novita.ai/v3/openai/chat/completions" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer " \
  -d @- << 'EOF'
{
    "model": "baidu/ernie-4.5-300b-a47b-paddle",
    "messages": [
        {
            "role": "system",
            "content": Be a helpful assistant
        },
        {
            "role": "user",
            "content": "Hi there!"
        }
from openai import OpenAI
  
client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    api_key="",
)

model = "baidu/ernie-4.5-300b-a47b-paddle"
stream = True # or False
max_tokens = 6000
system_content = ""Be a helpful assistant""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": system_content,
        },
        {
            "role": "user",
            "content": "Hi there!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
    temperature=temperature,
    top_p=top_p,
    presence_penalty=presence_penalty,
    frequency_penalty=frequency_penalty,
    response_format=response_format,
    extra_body={
      "top_k": top_k,
      "repetition_penalty": repetition_penalty,
      "min_p": min_p
    }
  )

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)
  
      "response_format": { "type": "text" },
    "max_tokens": 32768,
    "temperature": 1,
    "top_p": 1,
    "min_p": 0,
    "top_k": 50,
    "presence_penalty": 0,
    "frequency_penalty": 0,
    "repetition_penalty": 1
}
EOF
  
 

Opção 2: Fluxos de Trabalho Multi-Agente com OpenAI Agents SDK

Construa sistemas multi-agente avançados integrando a Novita AI com o OpenAI Agents SDK:

• Plug-and-play: Use o ERNIE 4.5 da Novita AI em qualquer fluxo de trabalho do OpenAI Agents
• Suporta transferências, roteamento e uso de ferramentas: Crie agentes que podem delegar, triagem ou executar funções, todos alimentados pelas capacidades do ERNIE 4.5
• Integração em Python: Basta apontar o SDK para o endpoint da Novita (https://api.novita.ai/v3/openai) e usar sua chave de API

Conecte a API do ERNIE 4.5 em Plataformas de Terceiros

• Hugging Face: Use o ERNIE 4.5 em Spaces, pipelines ou com a biblioteca Transformers através dos endpoints da Novita AI.

• Frameworks de Agentes e Orquestração: Conecte facilmente a Novita AI com plataformas parceiras como Continue, AnythingLLM, LangChain, Dify e Langflow através de conectores oficiais e guias de integração passo a passo.

• API Compatível com OpenAI: Desfrute de migração e integração sem complicações com ferramentas como Cline e Cursor, projetadas para o padrão da API OpenAI.

Conclusão

O ERNIE 4.5 é uma série versátil de modelos de IA open-source que combina arquitetura avançada Mixture-of-Experts com aprendizado multimodal inovador. Ele permite desempenho poderoso e eficiente em tarefas de linguagem e visão, tornando-se uma base sólida para aplicações de IA de próxima geração.

Pronto para experimentar o futuro do raciocínio de IA? Experimente o ERNIE 4.5 na Novita AI.

Novita AI é uma plataforma de nuvem de IA que oferece aos desenvolvedores uma maneira fácil de implantar modelos de IA usando nossa API simples, além de fornecer a nuvem GPU acessível e confiável para construir e escalar.