English Arabic 简体中文 繁體中文 Français Deutsch 日本語 한국어 Português Русский Español
他の翻訳はまだありません

GPU

カテゴリで記事を絞り込む

最適なモデル推論プラットフォームの選び方

最適なモデル推論プラットフォームの選び方

フィットベースのスコアカードを使用して、ユースケース、モデル、レイテンシ、スケーリング、コスト、可観測性、運用負荷に基づいてモデル推論プラットフォームを選びましょう。

Novita AI における GLM-5.1: 起動ガイドと料金

Novita AI における GLM-5.1: 起動ガイドと料金

GLM-5.1 は、長文コンテキストのエージェントおよびコーディングワークフロー向けのサーバーレステキストモデルとして Novita AI で利用可能です。このガイドでは、モデル ID、料金、制限、エンドポイント、および最初の API について説明します。

vLLM向けPegaFlow外部KVキャッシュ

vLLM向けPegaFlow外部KVキャッシュ

PegaFlow外部KVキャッシュは、vLLMサービングチームが再起動、インスタンス間、RDMAノード間でKVキャッシュを保持・共有することを可能にします。