ERNIE 4.5 へのアクセス方法: Web、API、コードを使った簡単な方法

By / / LLM / 読書の6分
https://blogs.novita.ai/how-to-access-ernie-4-5-effortless-ways-via-web-api-and-code/

ERNIE 4.5は、強力なテキスト処理とマルチモーダル処理を実現するBaiduの高度なAIモデルファミリーです。大規模導入と軽量導入の両方のオプションを備えたERNIE 4.5は、開発者と企業に効率的なパフォーマンスと費用対効果の高いアクセスを提供します。テキスト、画像、またはその両方を扱う場合でも、ERNIE 4.5はWebインターフェース、API、クラウドプラットフォームから簡単にアクセスでき、複雑な設定は必要ありません。

目次
  1. ERNIE 4.5 の簡単な紹介
  2. BaiduプラットフォームからERNIE 4.5にアクセス（無料トライアル）
  3. ERNIE 4.5 にローカルでアクセス
  4. PythonアプリケーションからERNIE 4.5にアクセスする
  5. よくある質問

ERNIE 4.5 の簡単な紹介

ERNIE 4.5は、Baiduが開発した高度なAIモデルファミリーであり、効率的なマルチモーダルおよびテキストベースの処理に重点を置いています。これらのモデルは、大規模なバリアントにはMixture of Experts（MoE）アーキテクチャを、小規模なバリアントにはDenseアーキテクチャを採用しています。テキストおよびビジョンモダリティをサポートし、事前学習（PT）バージョンとベースバージョンのオプションが用意されています。以下は、主要なモデルバリアントの一覧表と、ERNIEのAI学習フローにおけるイノベーションを示す図です。

モデルベース（Base）有効タイプモダリティ遊園地列車
アーニー 4.5 VL 424B A47B424B47B萌えT+VPT
ERNIE 4.5 VL 424B A47B ベース424B47B萌えT+Vベース（Base）
アーニー 4.5 VL 28B A3B28B3B萌えT+VPT
ERNIE 4.5 VL 28B A3B ベース28B3B萌えT+Vベース（Base）
ERNIE 4.5 VL 28B A3B シンキング28B3B萌えT+VPT
アーニー 4.5 300B A47B300B47B萌えテキストPT
ERNIE 4.5 300B A47B ベース300B47B萌えテキストベース（Base）
アーニー 4.5 21B A3B21B3B萌えテキストPT
ERNIE 4.5 21B A3B ベース21B3B萌えテキストベース（Base）
アーニー 4.5 21B A3B シンキング21B3B萌えテキストPT
アーニー 4.5 0.3B0.3B–密集テキストPT
ERNIE 4.5 0.3B ベース0.3B–密集テキストベース（Base）

AIトレーニングフロー：ERNIEのイノベーションのハイライト

1. マルチモーダル異種MoE事前トレーニング

異種の MoE 構造、モダリティ分離ルーティング、バランスのとれたマルチモーダル損失によるテキストとビジョンの共同事前トレーニング。

2. スケーリング効率の高いインフラストラクチャ

ハイブリッド並列処理、階層型負荷分散、エキスパート並列処理、メモリ最適化スケジューリング、ロスレス量子化により、高スループットと効率的な推論を実現します。

3. モダリティ別の事後トレーニング

テキストまたはビジョンタスクを微調整し、SFT、DPO、UPO をサポートして、さまざまな実際のアプリケーションのニーズに対応します。

パフォーマンス比較: ERNIE 4.5 vs. GPT-4o

ERNIE 4.5はGPT-4oと比較して優れたパフォーマンスと優れたコスト効率を実現しており、大規模なAI導入において非常に競争力のある選択肢となっています。 Novita AI!

パフォーマンス比較: ERNIE 4.5 vs. GPT-4o
インターネット

BaiduプラットフォームからERNIE 4.5にアクセス（無料トライアル）

Baiduプラットフォームのウェブインターフェースから直接お試しいただけます。インストールは不要です。ウェブサイトにアクセスして、すぐに無料トライアルを開始してください。

Baiduプラットフォームからのアクセス（無料トライアル）

あるいは、Novita API Playground を使用して、開発者に優しい環境で ERNIE 4.5 を試すこともできます。

アーニー4.5の無料トライアルを開始
意図に基づいて、適切なメッセージを適切なユーザーに適切なタイミングで Novita AI 今日！

ERNIE 4.5 にローカルでアクセス

Ernie 4.5 を使用するためのシステム要件は何ですか?

FP16 精度

モデルパラメータ（アクティブ）必要なVRAM理想的 GPU（S）
アーニー 4.5 VL 424B424B（アクティブ47B）〜945 GBNVIDIA H100 (80GB) × 12
アーニー 4.5 300B300B（アクティブ47B）〜668 GBNVIDIA H100 (80GB) × 9
ERNIE 4.5 VL 28B / ERNIE 4.5 VL 28B A3B シンキング28B（アクティブ3B）〜80 GBNVIDIA A100/H100 (80GB)
アーニー 4.5 21B / アーニー 4.5 21B A3B シンキング21B（アクティブ3B）〜48GBNVIDIA RTX 4090 (24GB)×2
アーニー 4.5 0.3B300M〜2.5 GBNVIDIA RTX 4090 (8GB) / RTX 3060 (12GB)

INT4精度

モデルパラメータ（アクティブ）必要なVRAM理想的 GPU（S）
アーニー 4.5 VL 424B424B（アクティブ47B）〜237 GBNVIDIA H100 (80GB) × 3
アーニー 4.5 300B300B（アクティブ47B）〜168 GBNVIDIA H100 (80GB) × 3
アーニー 4.5 VL 28B / ERNIE 4.5 VL 28B A3B シンキング28B（アクティブ3B）〜17 GBNVIDIA RTX 4090 (24GB) / A10G (24GB)
アーニー 4.5 21B / ERNIE 4.5 21B A3B 思考21B（アクティブ3B）〜13 GBNVIDIA RTX 4080 (16GB) / A10G (24GB)
アーニー 4.5 0.3B300M〜1.8 GBブリッジ GPU4GB以上のVRAMを搭載した

公式 ERNIEToolkit とオープンソースリリースに基づいています:

  • OS: Linux を強く推奨します (Ubuntu または類似のもの)。
  • フレームワーク: PaddlePaddle(最新バージョン)が必要です。
    • 推論/トレーニングの場合： アーニーキット (PaddlePaddle に基づく)。
    • 導入を加速するには ファストデプロイ.
  • 依存関係:
    • Python 3.8以降
    • CUDAとcuDNNがあなたの GPU セットアップ。
    • PyTorch環境の場合: モデルは以下からも入手可能です。 transformers 　 trust_remote_code=True

購入する場合 GPU 費用がかかりすぎると思われる場合は、 Novita AIコスト効率が高く信頼性の高いクラウド GPU サービス。例えば、1GBのVRAMを搭載した100x H80 SXM 80GBインスタンスを2.56時間あたりわずか8ドルで利用できます。また、最大XNUMX台まで拡張できます。 GPU時給 20.48 ドル。

意図に基づいて、適切なメッセージを適切なユーザーに適切なタイミングで Novita AI 今日！

PythonアプリケーションからERNIE 4.5にアクセスする

  • ハグ顔: QERNIE 4.5をSpaces、パイプライン、またはTransformersライブラリで使用します。 Novita AI エンドポイント
  • OpenAI互換API: 次のようなツールで手間のかからない移行と統合をお楽しみください。 クライン の三脚と カーソルOpenAI API 標準向けに設計されています。
PythonアプリケーションからERNIE 4.5にアクセスする
詳細は以下をご覧ください ドキュメント

API経由でERNIE 4.5にアクセスする

ステップ1: ログインしてモデルライブラリにアクセスする

アカウントにログインして、 モデルライブラリ

ログインしてモデルライブラリにアクセスする
意図に基づいて、適切なメッセージを適切なユーザーに適切なタイミングで アーニー 4.5 今すぐ！

ステップ2: モデルを選択する

利用可能なオプションを参照して、ニーズに合ったモデルを選択してください。

モデルを選択してください

ステップ 3: 無料トライアルを開始する

無料トライアルを開始して、選択したモデルの機能を調べてください。

アーニー4.5の無料トライアルを開始

ステップ4: APIキーを取得する

API で認証するには、新しい API キーが提供されます。「設定」ページに入ると、画像に示されているように API キーをコピーできます。

APIキーを取得する

ステップ5: APIをインストールする

プログラミング言語固有のパッケージ マネージャーを使用して API をインストールします。

インストール後、開発環境に必要なライブラリをインポートします。APIキーでAPIを初期化して、 Novita AI LLMこれは、Python ユーザー向けのチャット補完 API の使用例です。

openai からインポート OpenAI クライアント = OpenAI( base_url="https://api.novita.ai/v3/openai", api_key="", ) model = "baidu/ernie-4.5-300b-a47b-paddle" stream = True # または False max_tokens = 6000 system_content = ""役に立つアシスタントになりましょう"" temperature = 1 top_p = 1 min_p = 0 top_k = 50 presence_penalty = 0 frequency_penalty = 0 repetition_penalty = 1 response_format = { "type": "text" } chat_completion_res = client.chat.completions.create( model=model, messages=[ { "role": "system", "content": system_content, }, { "role": "user", "content": "こんにちは！", } ], stream=stream, max_tokens=max_tokens, temperature=temperature, top_p=top_p, presence_penalty=presence_penalty, frequency_penalty=周波数ペナルティ、response_format=レスポンスフォーマット、extra_body={ "top_k": top_k、 "repetition_penalty": repetition_penalty、 "min_p": min_p } ) ストリームの場合: for chunk in chat_completion_res: print(chunk.choices[0].delta.content or "", end="") else: print(chat_completion_res.choices[0].message.content)

ERNIE 4.5へのアクセスは柔軟かつシンプルです。即時のWebトライアルから、堅牢なAPI統合、そしてローカルデプロイメントまで、ワークフローに合ったアプローチをお選びいただけます。優れたパフォーマンスとリーズナブルな価格設定により、ERNIE 4.5は次世代AIアプリケーションにとって実用的な選択肢となります。

よくある質問

ERNIE 4.5 は本当に他の大きな AI モデルよりも優れているのでしょうか?

はい、ERNIE 4.5 はほとんどのベンチマークで DeepSeek V3 671B よりも高いスコアを獲得しており、他のトップモデルと非常に競争力があります。

ERNIE 4.5 をローカルで実行するためのシステム要件は何ですか?

要件はモデルのサイズによって異なりますが、Linuxシステム、Python 3.8以上、PaddlePaddle、互換性のあるNVIDIAが必要です。 GPU。 雲 GPU ローカルハードウェアがない場合には、オプションが利用可能です。

ERNIE 4.5 を実行するにはどのくらいの VRAM が必要ですか?

ERNIE 4.5の最大バージョン（424Bや300Bなど）を実行するには、数百GBの非常に高いVRAMと複数のハイエンド GPUより小さいバージョンや量子化されたバージョンでは、必要な VRAM が大幅に少なくなります。

Novita AI AIへの野心を実現するオールインワンのクラウドプラットフォームです。統合API、サーバーレス、 GPU インスタンス — コスト効率の高い、必要なツール。インフラストラクチャを不要にし、無料で始め、AIビジョンを現実にしましょう。

読書をお勧めします

Novitaの詳細を見る

最新の投稿をメールで受け取るには購読してください。

関連記事

コメント

上へスクロール

Novitaの詳細を見る

今すぐ購読して読み続け、完全なアーカイブにアクセスしてください。

続きを読む