百度 ERNIE 4.5 MoE 模型 API 現已於 Novita AI 上線

什麼是 ERNIE 4.5？
效能與能力
技術創新
部署與整合
如何在 Novita AI 上存取 ERNIE 4.5-300B-A47B
結論

百度最先進的開放權重混合專家模型 ERNIE 4.5，現已於 Novita AI 正式上線！

以下是 ERNIE 4.5 在 Novita AI 的當前定價：

baidu/ernie-4.5-vl-28b-a3b： 30k 上下文，免費

baidu/erine-4.5–21B-a3b： 120k 上下文，免費

baidu/erine-4.5–0.3b： 120k 上下文，免費

baidu/erine-4.5-vl-424b-a47b： 123k 上下文，輸入 $0.42/M tokens，輸出 $1.25/M tokens

baidu/ernie-4.5–300b-a47b-paddle： 123k 上下文，輸入 $0.3/M tokens，輸出 $1/M tokens

立即試用 ERNIE-4.5-300B-A47B Demo

什麼是 ERNIE 4.5？

ERNIE 4.5 是百度最新推出的開源模型系列，包含 10 個不同的模型。該系列包括分別具有 470 億和 30 億激活參數的混合專家（MoE）模型——其中最大的模型總參數高達 4240 億——以及一個擁有 3 億參數的稠密模型。

架構創新： 這些模型採用了一種 ** 創新的多模態異構模型結構**，通過跨模態參數共享機制實現跨模態知識融合，同時為單一模態保留專用參數空間。這種架構非常適合從大型語言模型到多模態模型的持續預訓練範式，在維持甚至提升文本任務效能的同時，顯著增強多模態理解能力。

框架與訓練： 所有 ERNIE 4.5 系列模型均使用 PaddlePaddle 深度學習框架 ** 進行高效訓練、推理和部署。在大型語言模型預訓練期間， 模型 FLOPs 利用率（MFU）達到 47%**。

效能與能力

基準測試成就： 實驗結果顯示，該模型系列在多個文本和多模態基準測試中均達到 ** 最先進（SOTA）效能**，尤其在以下領域表現傑出：

指令跟隨 - 理解並執行複雜指令
世界知識保留 - 全面的事實知識儲存與回憶
視覺理解 - 先進的圖像理解能力
多模態推理任務 - 跨越文本與視覺輸入的複雜推理

模型規格（ERNIE-4.5-300B-A47B）：

總參數： 300B，每個 token 激活 47B
架構： 54 層，64 個查詢頭 / 8 個鍵值頭
專家配置： 64 個文本專家（8 個激活）/ 64 個視覺專家（8 個激活）
上下文長度： 131,072 tokens
模態： 具備多模態訓練能力的文本

可及性與部署：

Apache 2.0 許可證 - 模型權重已開源，可用於學術研究和工業應用
工業級開發工具包 - 基於 PaddlePaddle 的全面套件，支援 ERNIEKit
廣泛的晶片相容性 - 可在各種硬體平台上執行，降低後續訓練與部署的門檻
卓越的推理效能 - 多種部署選項，包括 FastDeploy、Transformers 及 vLLM 整合
靈活的量化 - 提供 4-bit、2-bit 和 FP8 選項，適用於不同資源限制

技術創新

多模態混合專家模型預訓練

方法： ERNIE 4.5 在 ** 文本和視覺模態上進行聯合訓練**，以更好地捕捉多模態資訊的細微差異，從而提升文本生成、圖像理解及多模態推理任務的效能。

創新點： 為使兩種模態在學習過程中能夠相互增強，同時避免一種模態阻礙另一種模態的學習，百度提出了一種 ** 多模態異構混合專家模型結構**，具有以下特點：

模態隔離路由，用於專業化的專家分配
路由器正交損失，以增強專家專業化
多模態 token 平衡損失，以實現跨模態資源的最佳利用

進階最佳化： 這些架構選擇確保了兩種模態都能得到有效表示，從而在訓練期間實現 ** 多模態相互促進與改進**。

高效訓練與推理框架

訓練最佳化： 為支援 ERNIE 4.5 模型的高效訓練，百度提出了 ** 異構混合並行與分層負載平衡策略**。透過多項先進技術，他們顯著提升了預訓練吞吐量：

節點內專家並行 - 運算節點內的最佳化並行處理
記憶體高效管線排程 - 訓練期間的智慧記憶體管理
FP8 混合精度訓練 - 先進的數值精度技術
細粒度重新計算 - 針對記憶體效率的策略性重新計算

推理突破： 在推理最佳化方面，他們提出了幾種前沿方法：

多專家並行協作方法 - 跨模型專家的協作處理
卷積碼量化演算法 - 用於壓縮的先進編碼技術
近乎無損量化： 實現 4-bit 量化與 2-bit 量化，且效能下降極小
PD 分離與動態角色切換 - 自適應部署，能更充分利用資源並提升 ERNIE 4.5 MoE 模型的推理效能

針對模態的後期訓練

客製化最佳化： 為滿足實際場景中的不同需求，百度對 ** 預訓練模型進行了針對模態的微調**：

大型語言模型（LLM）：

針對 通用語言理解與生成 進行了專門最佳化

視覺語言模型（VLM）：

專注於 視覺語言理解
同時支援 思考模式 ** 與 ** 非思考模式 操作

多階段訓練管線： 每個模型都使用先進技術進行 ** 多階段後期訓練**：

SFT（監督式微調） - 從監督式範例中學習
DPO（直接偏好最佳化） - 基於偏好的直接最佳化
UPO（統一偏好最佳化） - 百度專有的統一偏好最佳化技術

部署與整合

ERNIE-4.5 模型可使用 FastDeploy、Hugging Face Transformers 或 vLLM 進行部署。不同的量化等級與服務框架使模型能夠在各種硬體配置上高效執行：

全精度模型 需要大量 GPU（通常為 16 張至少 80GB VRAM 的 GPU）。
量化模型（如 WINT4、W4A8C8 或 WINT2）能大幅降低 VRAM 需求。例如，WINT4 或 W4A8C8 可在 4–8×80GB GPU 上執行，而 WINT2 則可在單張 GPU 上部署，前提是至少擁有 141GB VRAM。
Transformers 整合 允許彈性使用，但大型模型仍需大量 VRAM。
vLLM 是高吞吐量、多 GPU 推理的理想選擇。量化模型有助於在可用 GPU 記憶體範圍內執行。
建議取樣參數： Temperature=0.8, Top-P=0.8

如何在 Novita AI 上存取 ERNIE 4.5-300B-A47B

在 Novita AI 上開始使用 ERNIE 4.5-300B-A47B 既簡單又無風險。新用戶可獲得 $10 的免費額度——足以讓您在無需前期投入的情況下探索 ERNIE 4.5-300B-A47B。

使用 Playground（無需編碼）

即時存取：註冊，領取您的免費額度，並在幾秒鐘內開始試用 ERNIE 4.5 及其他頂尖模型。

互動式 UI：測試提示詞、鏈式思考推理，並即時視覺化結果。

模型比較：在 ERNIE 4.5、Qwen 3、Llama 4、DeepSeek 等模型之間輕鬆切換，找到最符合您需求的最佳模型。

透過 API 整合（適用於開發者）

使用 Novita AI 的統一 REST API，將 ERNIE 4.5 無縫連接到應用程式、工作流程或聊天機器人。無需管理模型權重或擔憂基礎設施——Novita AI 提供多語言 SDK（Python、Node.js、cURL）及進階參數控制。

選項 1：直接 API 整合（Python 範例）

curl "https://api.novita.ai/v3/openai/chat/completions" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer <your_api_key>" \
  -d @- << 'EOF'
{
    "model": "baidu/ernie-4.5-300b-a47b-paddle",
    "messages": [
        {
            "role": "system",
            "content": "Be a helpful assistant"
        },
        {
            "role": "user",
            "content": "Hi there!"
        }
    ],
    "response_format": { "type": "text" },
    "max_tokens": 32768,
    "temperature": 1,
    "top_p": 1,
    "min_p": 0,
    "top_k": 50,
    "presence_penalty": 0,
    "frequency_penalty": 0,
    "repetition_penalty": 1
}
EOF

from openai import OpenAI

client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    api_key="<your_api_key>",
)

model = "baidu/ernie-4.5-300b-a47b-paddle"
stream = True # or False
max_tokens = 6000
system_content = "Be a helpful assistant"
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": system_content,
        },
        {
            "role": "user",
            "content": "Hi there!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
    temperature=temperature,
    top_p=top_p,
    presence_penalty=presence_penalty,
    frequency_penalty=frequency_penalty,
    response_format=response_format,
    extra_body={
      "top_k": top_k,
      "repetition_penalty": repetition_penalty,
      "min_p": min_p
    }
  )

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)

選項 2：使用 OpenAI Agents SDK 的多代理工作流程

透過將 Novita AI 與 OpenAI Agents SDK 整合，建立進階的多代理系統：

即插即用： 在任何 OpenAI Agents 工作流程中使用 Novita AI 的 ERNIE 4.5
支援任務移交、路由與工具使用： 設計能夠委派、分類或執行功能的代理，全部由 ERNIE 4.5 的能力驅動
Python 整合： 只需將 SDK 指向 Novita 的端點 (https://api.novita.ai/v3/openai) 並使用您的 API 金鑰即可

在第三方平台上連接 ERNIE 4.5 API

Hugging Face：透過 Novita AI 端點，在 Spaces、pipeline 或 Transformers 函式庫中使用 ERNIE 4.5。
代理與編排框架： 透過官方連接器與逐步整合指南，輕鬆將 Novita AI 與合作夥伴平台（如 Continue、AnythingLLM、LangChain、Dify 及 Langflow）進行連接。
相容 OpenAI 的 API： 無縫遷移並整合至專為 OpenAI API 標準設計的工具，如 Cline 和 Cursor。

結論

ERNIE 4.5 是一個多功能、開源的 AI 模型系列，結合了先進的混合專家架構與創新的多模態學習。它在語言和視覺任務上均能提供強大且高效的效能，為下一代 AI 應用奠定了堅實的基礎。

準備好體驗 AI 推理的未來了嗎？立即在 Novita AI 上試用 ERNIE 4.5。

Novita AI 是一個 AI 雲端平台，為開發者提供透過簡單 API 部署 AI 模型的便捷方式，同時也提供價格實惠且可靠的 GPU 雲端服務，用於建構和擴展應用程式。

百度 ERNIE 4.5 MoE 模型 API 現已於 Novita AI 上線

什麼是 ERNIE 4.5？

效能與能力