English Arabic 简体中文 繁體中文 Français Deutsch 日本語 한국어 Português Русский Español

Portkey と Novita AI の統合ガイド：包括的な解説

著者 / / Partnerships / 4 分で読めます
Portkey と Novita AI の統合ガイド：包括的な解説
目次
  1. 1\. Portkey AI Gateway について
  2. 2\. 主な機能と利点
  3. 3\. Portkey AI Gateway のセットアップ
  4. 4\. Novita AI API と Portkey の統合
  5. 5\. 役立つリソース
  6. 6\. 結論

Portkey AI Gateway は、Novita AI を含むさまざまな AI モデルと対話する開発者の方法を革新しました。この強力なツールは、複数の言語モデルにアクセスするための統一インターフェースを提供し、高速で信頼性が高く、安全なルーティングを保証します。この包括的なガイドでは、Portkey AI Gateway を活用して Novita AI API にアクセスし、AI 開発プロセスを合理化し、アプリケーションのパフォーマンスを向上させる方法を探ります。

1. Portkey AI Gateway について

Portkey AI Gateway は、アプリケーションと Novita AI を含むさまざまな AI モデルとの間の堅牢な仲介役として機能します。これは統合プロセスを簡素化するように設計されており、1600 以上の言語、ビジョン、オーディオ、画像モデルをサポートする統一 API を提供します。軽量でオープンソースの性質により、開発者は 2 分以内に任意の言語モデルを統合できます。

Portkey AI Gateway の主な特徴は次のとおりです。

  • 1ms 未満のレイテンシによる驚異的な高速パフォーマンス
  • わずか 122kb の小さなフットプリント
  • 毎日 100 億を超えるトークンを処理する実戦テスト済みのインフラストラクチャ
  • 強化されたセキュリティとカスタムデプロイメントを含むエンタープライズ対応機能

2. 主な機能と利点

Portkey AI Gateway は、AI アプリケーションの開発とデプロイを大幅に強化する多数の機能を提供します。

  1. 統一 API: Novita AI を含む複数の AI プロバイダーを、単一の一貫したインターフェースを通じて統合します。
  2. 自動リトライとフォールバック: ダウンタイムを防止し、AI サービスの高可用性を確保します。
  3. ロードバランシングと条件付きルーティング: リクエストを複数のプロバイダーまたはモデルに分散することで、AI アプリケーションを効率的にスケーリングします。
  4. ガードレール: コンテンツフィルターと出力検証を実装して、品質と安全性の基準を維持します。
  5. マルチモーダル機能: テキストベースのモデルを超えて、ビジョン、オーディオ、画像処理に拡張します。
  6. エージェンティックワークフロー統合: 複雑なアプリケーション向けの高度な AI エージェントフレームワークを探求します。

これらの機能は総合的に、開発サイクルの短縮、信頼性の向上、AI 搭載アプリケーションのパフォーマンス強化に貢献します。

3. Portkey AI Gateway のセットアップ

Portkey AI Gateway のセットアップは、ゲートウェイのセットアップ、最初のリクエストの実行、ルーティングとガードレールの設定という 3 つの主要なステップからなる簡単なプロセスです。

AI ゲートウェイをセットアップする

ゲートウェイをローカルで実行するには、Node.js と npm がインストールされている必要があります。次に、次のコマンドを実行します。

npx @portkey-ai/gateway

実行すると、2 つの重要な URL が表示されます。

  • ゲートウェイ: http://localhost:8787/v1
  • ゲートウェイコンソール: http://localhost:8787/public/

最初のリクエストを実行する

まず、Portkey AI Python ライブラリをインストールします。

pip install -qU portkey-ai

次に、次の Python コードを使用して最初のリクエストを実行します。

from portkey_ai import Portkey

# OpenAI 互換クライアント
client = Portkey(
    provider="openai", # または 'anthropic'、'bedrock'、'groq' など
    Authorization="sk-***" # プロバイダーの API キー
)

# AI ゲートウェイを介してリクエストを実行
client.chat.completions.create(
    messages=[{"role": "user", "content": "天気はどうですか？"}],
    model="gpt-4o-mini"
)

Gateway Console (http://localhost:8787/public/) を使用して、すべてのローカルログを 1 か所で監視できます。

ルーティングとガードレール

Portkey AI Gateway では、ルーティングルールの設定、信頼性機能の追加、ガードレールの実装が可能です。以下に設定例を示します。

config = {
  "retry": {"attempts": 5},

  "output_guardrails": [{
    "default.contains": {"operator": "none", "words": ["Apple"]},
    "deny": True
  }]
}

# 設定をクライアントにアタッチ
client = client.with_options(config=config)

client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[{"role": "user", "content": "「Apple」または「Bat」でランダムに返信してください。"}]
)

# この例では、ガードレールが「Apple」を含むすべての返信を拒否するため、応答は常に「Bat」になります。リトライ設定により、リクエストは最大 5 回試行され、その後諦めます。

AI ゲートウェイ

4. Novita AI API と Portkey の統合

Portkey AI Gateway を介して Novita AI API にアクセスするには、次の手順に従います。

Portkey SDK のインストール

Portkey SDK をアプリケーションに追加して、Portkey のゲートウェイを介して Novita AI の API と対話します。

Node.JS

npm install --save portkey-ai

Python

pip install portkey-ai

仮想キーを使用した Portkey の初期化

Novita AI で Portkey を使用するには、Novita AI から LLM API キー を取得し、Portkey に追加して仮想キーを作成します。

Node.JS SDK

import Portkey from 'portkey-ai'

const portkey = new Portkey({
  apiKey: "PORTKEY_API_KEY",  // Portkey API キーに置き換え
  virtualKey: "VIRTUAL_KEY"   // Novita AI 用の仮想キーに置き換え
})

Python SDK

from portkey_ai import Portkey

portkey = Portkey(
    api_key="PORTKEY_API_KEY",  # Portkey API キーに置き換え
    virtual_key="VIRTUAL_KEY"   # Novita AI 用の仮想キーに置き換え
)

Novita AI によるチャット補完の呼び出し

Portkey インスタンスを使用して Novita AI にリクエストを送信します。必要に応じて、API 呼び出し内で仮想キーを直接上書きすることもできます。

Node.JS SDK

const chatCompletion = await portkey.chat.completions.create({
  messages: [{ role: 'user', content: 'これはテストです' }],
  model: 'Nous-Hermes-2-Mixtral-8x7B-DPO'
});

console.log(chatCompletion.choices);

Python SDK

completion = portkey.chat.completions.create(
    messages= [{ "role": 'user', "content": 'これはテストです' }],
    model= 'reka-core'
)

print(completion)

5. 役立つリソース

Portkey AI Gateway と Novita AI の理解と使用方法をさらに深めるには、次の貴重なリソースを検討してください。

  1. Portkey AI Gateway GitHub リポジトリ: 最新のプルリクエスト、機能、改善点を常に把握できます。
  2. Novita AI 統合に関する Portkey AI ドキュメント: SDK の使用法とサポートされているモデルを含む、Novita AI と Portkey の統合に関する包括的なガイド。
  3. Portkey AI ブログ: AI 統合とベストプラクティスに関する洞察に満ちた記事、チュートリアル、最新情報にアクセスできます。
  4. Novita AI API ドキュメント: Novita AI の LLM API とモデル仕様の詳細については、公式ドキュメントを参照してください。

これらのリソースは、Portkey AI Gateway を介して Novita AI の可能性を最大限に引き出し、AI 統合と開発の最前線に立ち続けるための豊富な情報を提供します。

6. 結論

Novita AI API と Portkey AI Gateway の統合は、AI アプリケーションを強化するためのシームレスで効率的な方法を提供します。このガイドで概説した手順に従うことで、Portkey AI Gateway の強力な機能を活用して、開発プロセスを合理化し、パフォーマンスを向上させ、信頼性を確保できます。テキスト、ビジョン、オーディオ、画像モデルのいずれを使用している場合でも、Portkey AI Gateway は複数の AI プロバイダーの統合を簡素化する統一インターフェースを提供します。

最新のリソースとベストプラクティスを常に把握することで、AI アプリケーションを最適化し続け、急速に進化する AI 統合と開発の分野で先を行くことができます。Portkey AI Gateway と Novita AI の機能を採用して、革新的で堅牢な AI ソリューションを構築しましょう。

Novita AI は、開発者がシンプルな API を使用して AI モデルを簡単にデプロイできると同時に、構築とスケーリングのための手頃で信頼性の高い GPU クラウドを提供する AI クラウドプラットフォームです。

関連記事