如何存取 ERNIE 4.5:透過 Web、API 和程式碼輕鬆存取

https://blogs.novita.ai/how-to-access-ernie-4-5-effortless-ways-via-web-api-and-code/

ERNIE 4.5 是百度先進的 AI 模型系列,用於強大的文字和多模態處理。 ERNIE 4.5 提供大規模和輕量級部署兩種選擇,為開發者和企業提供高效的效能和經濟實惠的存取方式。無論您處理文字、圖像還是兩者兼有,都可以透過 Web 介面、API 和雲端平台輕鬆存取 ERNIE 4.5,無需複雜的設定。

ERNIE 4.5 簡單介紹

ERNIE 4.5 是百度開發的一系列先進 AI 模型,專注於高效的多模態和基於文字的處理。這些模型針對較大的變體採用混合專家 (MoE) 架構,針對較小的變體採用密集架構。它們支援文字和視覺模態,並提供預訓練 (PT) 和基礎版本選項。下表列出了主要模型變體,並附有一張圖表,重點展示了 ERNIE 在 AI 訓練流程方面的創新。

型號台面活躍類型模態火車
厄尼 4.5 VL 424B A47B424B47B教育部T+VPT
ERNIE 4.5 VL 424B A47B 底座424B47B教育部T+V台面
厄尼 4.5 VL 28B A3B28B3B教育部T+VPT
ERNIE 4.5 VL 28B A3B 底座28B3B教育部T+V台面
ERNIE 4.5 VL 28B A3B 思考28B3B教育部T+VPT
厄尼 4.5 300B A47B300B47B教育部文本PT
ERNIE 4.5 300B A47B 底座300B47B教育部文本台面
厄尼 4.5 21B A3B21B3B教育部文本PT
ERNIE 4.5 21B A3B 底座21B3B教育部文本台面
ERNIE 4.5 21B A3B 思考21B3B教育部文本PT
厄尼 4.5 0.3B0.3B - 文本PT
ERNIE 4.5 0.3B 基礎0.3B - 文本台面

AI 訓練流程:ERNIE 創新亮點

1. 多模態異構 MoE 預訓練

具有異質 MoE 結構、模態隔離路由和平衡多模態損失的聯合文字和視覺預訓練。

2. 高效率擴展的基礎設施

混合並行、分層負載平衡、專家並行、記憶體最佳化調度和無損量化,實現高吞吐量和高效推理。

3. 特定模態的後期訓練

針對文字或視覺任務微調,支援SFT、DPO和UPO,滿足多樣化的實際應用需求。

性能比較:ERNIE 4.5 與 GPT-4o

ERNIE 4.5 與 GPT-4o 相比,性能卓越,成本效率出色,是大規模 AI 部署的極具競爭力的選擇。價格實惠 Novita AI!

性能比較:ERNIE 4.5 與 GPT-4o
網際網路

透過百度平台存取 ERNIE 4.5(免費試用)

您可以直接透過百度平台的網頁介面試用,無需安裝。只需造訪網站即可立即開始免費試用。

透過百度平台存取(免費試用)

或者,您可以使用 Novita API Playground 在開發人員友善的環境中試驗 ERNIE 4.5。

開始免費試用 Ernie 4.5

本地存取 ERNIE 4.5

使用 Ernie 4.5 的系統需求是什麼?

FP16 精度

型號參數(主動)所需 VRAM理想 GPU(多個)
厄尼 4.5 VL 424B424B(47B活躍)~945 GBNVIDIA H100 (80GB) × 12
厄尼 4.5 300B300B(47B活躍)~668 GBNVIDIA H100 (80GB) × 9
ERNIE 4.5 VL 28B / ERNIE 4.5 VL 28B A3B 思考28B(3B活躍)~80 GBNVIDIA A100/H100(80GB)
ERNIE 4.5 21B / ERNIE 4.5 21B A3B 思維21B(3B活躍)〜48GBNVIDIA RTX 4090 (24GB)X2
厄尼 4.5 0.3B300M~2.5 GBNVIDIA RTX 4090(8GB)/ RTX 3060(12GB)

INT4 精度

型號參數(主動)所需 VRAM理想 GPU(多個)
厄尼 4.5 VL 424B424B(47B活躍)~237 GBNVIDIA H100 (80GB) × 3
厄尼 4.5 300B300B(47B活躍)~168 GBNVIDIA H100 (80GB) × 3
厄尼 4.5 VL 28B / ERNIE 4.5 VL 28B A3B 思考28B(3B活躍)~17 GBNVIDIA RTX 4090(24GB)/ A10G(24GB)
厄尼 4.5 21B / ERNIE 4.5 21B A3B 思考21B(3B活躍)~13 GBNVIDIA RTX 4080(16GB)/ A10G(24GB)
厄尼 4.5 0.3B300M~1.8 GB橋樑 GPU配備 >4GB VRAM

基於官方 ERNIEToolkit 和開源版本:

  • OS:強烈建議 Linux(Ubuntu 或類似版本)。
  • 框架:需要 PaddlePaddle(最新版本)。
    • 對於推理/訓練:使用 ERNIEKit (基於PaddlePaddle)。
    • 部署可以透過以下方式加速 快速部署.
  • 依賴:
    • Python 3.8+
    • CUDA 和 cuDNN 匹配您的 GPU 建立。
    • 對於 PyTorch 環境:模型也可以透過以下方式獲得 transformers - trust_remote_code=True

如果購買一個 GPU 似乎太貴了,你可以利用 Novita AI經濟高效且可靠的雲 GPU 服務。例如,您可以存取 1 個 H100 SXM 80GB 實例(配備 80 GB VRAM),每小時僅需 2.56 美元,或擴展到 8 個 GPU每小時 20.48 美元。

從 Python 應用程式存取 ERNIE 4.5

  • 擁抱臉:在 Spaces、管線或 Transformers 庫中使用 QERNIE 4.5 Novita AI 端點。
  • OpenAI相容API: 享受輕鬆的遷移和集成,例如 克萊恩 以及  光標,專為 OpenAI API 標準而設計。
從 Python 應用程式存取 ERNIE 4.5
您可以在 文件

透過 API 存取 ERNIE 4.5

步驟 1:登入並存取模型庫

登入您的帳戶並點擊 模型庫 按鈕。

登入並存取模型庫

步驟 2:選擇您的型號

瀏覽可用的選項並選擇適合您需求的型號。

選擇您的型號

步驟 3:開始免費試用

開始免費試用,探索所選型號的功能。

開始免費試用 Ernie 4.5

步驟 4:取得您的 API 金鑰

為了透過 API 進行身份驗證,我們將為您提供一個新的 API 金鑰。進入「設定」頁面,您可以按照圖中所示複製API金鑰。

取得 API 金鑰

步驟 5:安裝 API

使用特定於您的程式語言的套件管理器安裝 API。

安裝後,將必要的庫匯入到您的開發環境中。使用您的 API 金鑰初始化 API 以開始與 Novita AI LLM。這是 Python 使用者使用聊天完成 API 的範例。

從 openai 導入 OpenAI 客戶端 = OpenAI(base_url="https://api.novita.ai/v3/openai", api_key="", ) model = "baidu/ernie-4.5-300b-a47b-paddle" stream = True # 或 False max_tokens = 6000 system_content = ""做一個有用的助手"" temperature = 1 top_p = topmin_p = 1 top_p = 0 top_p = 50 top_p = 0 top_p = 0 top_p = 1 presence_penalty = 0 frequency_penalty = 0 repetition_penalty = XNUMX response_format = { "type": "text" } chat_completion_res = client.chat.completions.create( model=model, messages=[ { "userle: "system" "Hi there!", } ], stream=stream, max_tokens=max_tokens, temperature=temp, top_p=top_p, presence_penalty=presence_penalty, frequency_penalty=frequency_penalty,response_penalty, frequency_penalty=frequency_penalty,response_format=response_format, 「top_k」:top_k,「repetition_penalty」:repetition_penalty,「min_p」:min_p } )如果流:對於chat_completion_res中的區塊:列印(chunk.choices[XNUMX].delta.content或「」,end="」)否則:列印(chunk.coms)[XNUMX]。
  
  

存取 ERNIE 4.5 靈活便捷-您可以選擇適合您工作流程的方法,從即時 Web 試用到強大的 API 整合和本地部署。憑藉卓越的性能和高效的定價,ERNIE 4.5 是下一代 AI 應用的實用之選。

常見問題

ERNIE 4.5 真的比其他大型 AI 模型好嗎?

是的,ERNIE 4.5 在大多數基準測試中的得分都高於 DeepSeek V3 671B,並且與其他頂級模型相比非常具有競爭力。

在本地運行 ERNIE 4.5 的系統需求是什麼?

需求因模型大小而異,但你需要 Linux 系統、Python 3.8+、PaddlePaddle 和相容的 NVIDIA GPU。 雲 GPU 如果您沒有本地硬件,則可以選擇此選項。

運行 ERNIE 4.5 需要多少 VRAM?

運行 ERNIE 4.5 的最大版本(例如 424B 或 300B)需要非常高的 VRAM——數百 GB 和多個高端 GPUs. 較小或量化的版本需要更少的 VRAM。

Novita AI 是助力您實現 AI 抱負的一體化雲端平台。整合 API、無伺服器、 GPU 實例-您需要的經濟高效的工具。消除基礎設施,免費開始,讓您的 AI 願景成為現實。

推薦閱讀


探索 Novita 的更多內容

訂閱以將最新貼文發送到您的電子郵件。

發表評論

回到頁首

探索 Novita 的更多內容

立即訂閱以繼續閱讀並存取完整檔案。

繼續閱讀