如何存取 ERNIE 4.5:透過網頁、API 和程式碼的簡便方法

如何存取 ERNIE 4.5:透過網頁、API 和程式碼的簡便方法

ERNIE 4.5 是百度先進的 AI 模型系列,專為強大的文字和多模態處理而生。無論是大型或輕量級部署,ERNIE 4.5 都為開發者和企業提供了高效的效能與具成本效益的存取方式。無論您處理的是文字、影像或兩者兼具,透過網頁界面、API 和雲端平台都能輕鬆存取 ERNIE 4.5,無需複雜設定。

ERNIE 4.5 的簡單介紹

ERNIE 4.5 是百度開發的一系列先進 AI 模型,專注於高效的多模態及文字處理。這些模型在較大變體上使用混合專家(MoE)架構,在較小變體上使用密集架構。它們支援文字和視覺模態,並提供預訓練(PT)和基礎版本。下表列出主要模型變體,以及圖表突顯 ERNIE 在 AI 訓練流程中的創新。

模型 基礎 活躍 類型 模態 訓練
ERNIE 4.5 VL 424B A47B 424B 47B MoE T+V PT
ERNIE 4.5 VL 424B A47B Base 424B 47B MoE T+V Base
ERNIE 4.5 VL 28B A3B 28B 3B MoE T+V PT
ERNIE 4.5 VL 28B A3B Base 28B 3B MoE T+V Base
ERNIE 4.5 VL 28B A3B Thinking 28B 3B MoE T+V PT
ERNIE 4.5 300B A47B 300B 47B MoE Text PT
ERNIE 4.5 300B A47B Base 300B 47B MoE Text Base
ERNIE 4.5 21B A3B 21B 3B MoE Text PT
ERNIE 4.5 21B A3B Base 21B 3B MoE Text Base
ERNIE 4.5 21B A3B Thinking 21B 3B MoE Text PT
ERNIE 4.5 0.3B 0.3B Dense Text PT
ERNIE 4.5 0.3B Base 0.3B Dense Text Base

AI 訓練流程:ERNIE 的創新亮點

1. 多模態異構 MoE 預訓練

結合文字與視覺的聯合預訓練,採用異構 MoE 結構、模態隔離路由和平衡的多模態損失函數。

2. 可擴展的高效基礎設施

混合平行、階層式負載平衡、專家平行、記憶體最佳化排程和無損量化,實現高吞吐量與高效推論。

3. 特定模態的後期訓練

針對文字或視覺任務進行微調,支援 SFT、DPO 和 UPO,滿足多樣化的實際應用需求。

效能比較:ERNIE 4.5 對比 GPT-4o

ERNIE 4.5 提供優越的效能和卓越的成本效益,相較於 GPT-4o,使其成為大規模 AI 部署極具競爭力的選擇。這是 Novita AI 上的價格!

效能比較:ERNIE 4.5 對比 GPT-4o

來自網路

透過百度平台存取 ERNIE 4.5(免費試用)

您可以直接透過百度平台的網頁界面試用,無需安裝。只需造訪網站,立即開始免費試用。

透過百度平台存取(免費試用)

或者,您也可以使用 Novita API Playground 在開發者友善的環境中體驗 ERNIE 4.5。

在 ERNIE 4.5 上開始免費試用

立即試用 Novita AI!

本機存取 ERNIE 4.5

使用 ERNIE 4.5 的系統需求為何?

FP16 精度

模型 參數(活躍) 所需 VRAM 建議 GPU
ERNIE 4.5 VL 424B 424B(47B 活躍) ~945 GB NVIDIA H100 (80GB) × 12
ERNIE 4.5 300B 300B(47B 活躍) ~668 GB NVIDIA H100 (80GB) × 9
ERNIE 4.5 VL 28B / ERNIE 4.5 VL 28B A3B Thinking 28B(3B 活躍) ~80 GB NVIDIA A100/H100 (80GB)
ERNIE 4.5 21B / ERNIE 4.5 21B A3B Thinking 21B(3B 活躍) ~48GB NVIDIA RTX 4090 (24GB) X2
ERNIE 4.5 0.3B 300M ~2.5 GB NVIDIA RTX 4090 (8GB) / RTX 3060 (12GB)

INT4 精度

模型 參數(活躍) 所需 VRAM 建議 GPU
ERNIE 4.5 VL 424B 424B(47B 活躍) ~237 GB NVIDIA H100 (80GB) × 3
ERNIE 4.5 300B 300B(47B 活躍) ~168 GB NVIDIA H100 (80GB) × 3
ERNIE 4.5 VL 28B / ERNIE 4.5 VL 28B A3B Thinking 28B(3B 活躍) ~17 GB NVIDIA RTX 4090 (24GB) / A10G (24GB)
ERNIE 4.5 21B / ERNIE 4.5 21B A3B Thinking 21B(3B 活躍) ~13 GB NVIDIA RTX 4080 (16GB) / A10G (24GB)
ERNIE 4.5 0.3B 300M ~1.8 GB 大多數 VRAM >4GB 的 GPU

根據官方 ERNIEToolkit 和開源版本:

  • 作業系統:強烈建議使用 Linux(Ubuntu 或類似發行版)。
  • 框架:需要 PaddlePaddle(最新版本)。
    • 推論/訓練:使用 ERNIEKit(基於 PaddlePaddle)。
    • 部署可透過 FastDeploy 加速。
  • 依賴項
    • Python 3.8+
    • 與您 GPU 設定匹配的 CUDA 和 cuDNN。
    • 若使用 PyTorch 環境:也可經由 transformers 搭配 trust_remote_code=True 取得模型

如果購買 GPU 成本過高,您可以利用 Novita AI 經濟實惠且可靠的雲端 GPU 服務。例如,您可以以每小時 $2.56 的價格使用 1x H100 SXM 80GB 實例(80 GB VRAM),或擴展至 8 個 GPU,每小時 $20.48。

立即試用 Novita AI!

從 Python 應用程式存取 ERNIE 4.5

  • Hugging Face:在 Spaces、pipeline 或使用 Transformers 函式庫,透過 Novita AI 端點使用 QERNIE 4.5。

  • 代理與編排框架:透過官方連接器和逐步整合指南,輕鬆將 Novita AI 與合作夥伴平台(如 ContinueAnythingLLMLangChainDifyLangflow)建立連線。

  • 相容 OpenAI 的 API:享受無痛遷移與整合,搭配如 ClineCursor 等工具,專為 OpenAI API 標準設計。

從 Python 應用程式存取 ERNIE 4.5

您可以在文件中取得更多詳細資訊。

透過 API 存取 ERNIE 4.5

步驟 1:登入並存取模型庫

登入您的帳戶,然後點選 模型庫 按鈕。

登入並存取模型庫

立即試用 ERNIE 4.5

步驟 2:選擇您的模型

瀏覽可用選項,並選擇符合您需求的模型。

選擇您的模型

步驟 3:開始免費試用

開始免費試用,探索所選模型的功能。

在 ERNIE 4.5 上開始免費試用

步驟 4:取得您的 API 金鑰

為了驗證 API,我們將提供您新的 API 金鑰。進入「設定」頁面,您可以依照圖片所示複製 API 金鑰。

取得 API 金鑰

步驟 5:安裝 API

使用您程式語言對應的套件管理器安裝 API。

安裝完成後,在您的開發環境中匯入必要的函式庫。使用您的 API 金鑰初始化 API,即可開始與 Novita AI LLM 互動。以下是使用 Python 的 Chat Completions API 範例。

from openai import OpenAI
  
client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    api_key="",
)

model = "baidu/ernie-4.5-300b-a47b-paddle"
stream = True # or False
max_tokens = 6000
system_content = ""Be a helpful assistant""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": system_content,
        },
        {
            "role": "user",
            "content": "Hi there!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
    temperature=temperature,
    top_p=top_p,
    presence_penalty=presence_penalty,
    frequency_penalty=frequency_penalty,
    response_format=response_format,
    extra_body={
      "top_k": top_k,
      "repetition_penalty": repetition_penalty,
      "min_p": min_p
    }
  )

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)
  
  

存取 ERNIE 4.5 的方式彈性且直接,您可以根據工作流程選擇合適的方法,從即時網頁試用到強大的 API 整合及本機部署。憑藉卓越的效能和高效的價格,ERNIE 4.5 是次世代 AI 應用的實用選擇。

常見問題

ERNIE 4.5 真的比其他大型 AI 模型更好嗎?

是的,ERNIE 4.5 在大多數基準測試中得分高於 DeepSeek V3 671B,並且與其他頂尖模型極具競爭力。

在本機執行 ERNIE 4.5 的系統需求為何?

需求因模型大小而異,但您需要 Linux 系統、Python 3.8+、PaddlePaddle 以及相容的 NVIDIA GPU。如果您沒有本機硬體,可以使用雲端 GPU 選項。

執行 ERNIE 4.5 需要多少 VRAM?

執行最大版本的 ERNIE 4.5(如 424B 或 300B)需要非常高的 VRAM——數百 GB 和多個高階 GPU。較小或量化版本所需的 VRAM 則少得多。

Novita AI 是全合一雲端平台,助力您實現 AI 抱負。整合 API、無伺服器、GPU 實例——您所需的成本效益工具。免除基礎設施負擔,免費開始,讓您的 AI 願景成真。

推薦閱讀