Novita AIのGPT-OSSエンドポイント：業界トップクラスのパフォーマンス

Novita AIでは、開発者に高速で信頼性が高く、手頃な価格のトップAIモデルへのアクセスを提供することを使命としています。OpenAIがオープンソースモデル「GPT-OSS 120B」と「GPT-OSS 20B」をリリースした際、私たちはその当日に両モデルのホスティングを開始しました。しかし、モデルをデプロイするだけでは不十分です。そのため、エンジニアリングチームは1週間をかけて1つの目標に注力しました：優れたユーザー体験を提供するためのGPT-OSSエンドポイントの最適化です。

その結果は？当社のエンドポイントは、AIモデルとホスティングプロバイダー向けの独立分析プラットフォーム「Artificial Analysis」によって検証され、業界トップクラスのパフォーマンスを誇るとしてランク付けされました。

タイトル: GPT OSS 120B
出典: Hugging Face

GPT-OSS-120Bとは？

GPT-OSS-120Bは、OpenAIが2025年8月にリリースした新しいオープンウェイトモデルの1つで、1170億個のパラメータを搭載した混合専門家（MoE）アーキテクチャを採用しています。トークンごとにパラメータの一部のみを活性化するため、推論を効率化しながら高い推論能力を維持できます。このモデルはツールの使用、長いコンテキストウィンドウ、複雑な推論などの高度な機能をサポートしており、Apache 2.0ライセンスの下で提供されています。

課題：複数の指標のバランス調整

GPT-OSS 120Bのような大規模言語モデル（LLM）をホスティングするには、複数の指標を同時にバランスよく調整する必要があります。私たちは以下の主要な指標を同時に最適化する必要がありました：

レイテンシー：ユーザーのリクエストに対してモデルがどれだけ速く応答するか。特に最初のトークンが返却されるまでの時間（Time to First Token）の短さは、良好な対話型ユーザー体験に不可欠です。
スループット：当社のエンドポイントが1秒あたりに処理できるトークン数。高いスループットは速度を確保し、ユーザー体験に直接影響します。
コンテキストウィンドウ：モデルが長く複雑なプロンプトを処理できるか。GPT-OSSモデルは最大131,072トークンの大規模なコンテキストウィンドウを備えているため、デプロイメントがその能力を完全にサポートする必要がありました。
モデルの品質：最適化によって、関数呼び出し（ツール呼び出しとも呼ばれる）や構造化/JSON出力などのモデルのコア機能が維持されるか。私たちは推論機能を有効にし、デプロイメントがエラーを発生させたり、モデルの精度や推論能力を損なったりしないことを確認しました。

結果：達成した成果

私たちの努力が実を結びました。Novitaのエンドポイントは、Artificial Analysisが公開する「GPT-OSS-120B (high) APIプロバイダーパフォーマンスベンチマーク＆分析レポート」で高ランクを獲得しました。また、AIME（アメリカ招待数学検定） および GPQA（大学院レベルGoogle耐性Q&A） の推論ベンチマークで最高パフォーマンスを誇るプロバイダーとして評価されました。Novitaは最高クラスの精度スコアを達成したほか、コストも業界最低水準でした。