このたび、大規模言語モデル（LLM）およびビジョン言語モデル（VLM）向け高速サービングエンジンであるSGLangとの戦略的パートナーシップを発表できることを大変嬉しく思います。本協業により、Novita AIはSGLangの継続的な研究、ベンチマーク、最適化の取り組みに向けて、高性能なGPUクラウドリソースを提供します。
SGLangは、構造化生成言語と高度に最適化されたランタイムを共設計した最先端の推論エンジンです。効率的なRadixAttentionのキャッシュ再利用や、大規模言語モデルおよびビジョン言語モデル向けのゼロオーバーヘッドバッチスケジューリングなど、強力なパフォーマンス向上を実現します。言語レベルの制御とバックエンドの最適化を連携させることで、開発者は複雑な生成ワークフロー、マルチモーダルアプリケーション、並列推論パイプラインを信頼性とスケーラビリティをもって構築できるようになります。SGLangは、NVIDIA、AMD、xAI、Oracle Cloud、Google Cloud、LinkedIn、Cursorといった主要企業に加え、スタンフォード大学、カリフォルニア大学バークレー校、カリフォルニア大学ロサンゼルス校の研究グループからも支援を受けており、活発なコミュニティへの参加と広範な業界導入を示しています。
「SGLangによる言語レベルのプリミティブとランタイム最適化の統合は、ソフトウェアとハードウェアを連携させて新たなパフォーマンスレベルを引き出す価値を実証しています」と、Novita AIの共同創業者兼COOであるJunyu Huangは述べています。「当社のインフラと専門知識を提供することで、SGLang初のエンドツーエンドマルチターン強化学習（RL）フレームワークやPrismマルチ大規模言語モデルサービングシステムの開発をすでに支援しており、今後も世界中の開発者に向けたSGLangの継続的な革新を後押ししてまいります。」
「SGLangチームとのパートナーシップを大変嬉しく思います」とJunyu Huangは続けます。「私たちはすでにSGLangのRLフレームワークとマルチLLMサービングシステムを支援してきましたが、これらの成果がSGLangの作業を加速し、さまざまな業界のアプリケーションに強力な推論パフォーマンスをもたらすことを楽しみにしています。」
また、Novita AIはSGLangの大規模エキスパート並列化プロジェクトにも協力しています。これは、DeepSeek公式ブログに詳述されたスループットベンチマークに迫るオープンソース実装であり、このマイルストーンの実現に向けて協力を進めています。
本協業は、推論エンジンのオープンエコシステムを推進し、共有インフラと共同開発を通じて多様な研究イニシアチブを支援するというNovita AIの継続的な取り組みを反映しています。
SGLangのような先駆的なオープンソースプロジェクトとの協力を通じて、Novita AIはAIの民主化というミッションをさらに推進し、最先端の推論機能を世界中の開発者が容易に利用できるようにしていきます。
Novita AIについて
Novita AIは、シンプルなAPIを通じて開発者がAIモデルを容易にデプロイできるAIクラウドプラットフォームであり、手頃で信頼性の高いGPUクラウドインフラを提供します。LLM推論とサービング向けのオープンソースライブラリをサポートすることで、Novita AIはAIの未来を牽引し、業界全体のイノベーションを促進しています。
