Novita AI ブログ

シンプルな API で AI モデルを簡単にデプロイ。
手頃で信頼性の高い GPU クラウド上で構築とスケールを実現。

カテゴリで記事を絞り込む

vLLM向けPegaFlow外部KVキャッシュ

vLLM向けPegaFlow外部KVキャッシュ

PegaFlow外部KVキャッシュは、vLLMサービングチームが再起動、インスタンス間、RDMAノード間でKVキャッシュを保持・共有することを可能にします。

Novita AIをGooseで使う方法:200以上のLLMモデル

Novita AIをGooseで使う方法:200以上のLLMモデル

Novita AIをネイティブプロバイダーとしてGooseに設定。エージェント型コーディングワークフローに最適な200以上のオープンソースモデルを、1Mトークンあたり$0.02で利用可能。