Novita AI 與 SGLang 合作，為下一代 AI 推理提供支持

我們很高興宣布與 SGLang 建立策略合作夥伴關係，SGLang 是大型語言模型和視覺語言模型的快速服務引擎。透過此次合作， Novita AI 將提供高性能 GPU 雲端資源用於 SGLang 正在進行的研究、基準測試和最佳化工作。

SGLang 是一種領先的推理引擎，它將結構化生成語言與高度優化的運行時共同設計，從而實現強大的性能提升，例如高效的 RadixAttention 緩存重用以及大型語言和視覺語言模型的零開銷批量調度。透過將語言級控制與後端最佳化相結合，它使開發人員能夠建立具有可靠性和規模的複雜生成工作流程、多模式應用程式和平行推理管道。 SGLang 得到了 NVIDIA、AMD、xAI、Oracle Cloud、Google Cloud、LinkedIn、Cursor 等領先機構以及史丹佛大學、加州大學柏克萊分校和加州大學洛杉磯分校研究小組的支持——這證明了強大的社區參與度和廣泛的行業採用。

「SGLang 將語言級原語與運行時優化相結合，展現了協調軟體和硬體以解鎖新性能水平的價值，」聯合創始人兼首席營運長黃俊宇表示。 Novita AI。 “透過貢獻我們的基礎設施和專業知識，我們已經支持了 SGLang 的第一個端到端多輪強化學習 (RL) 框架和 Prism 多大型語言模型服務系統的開發，並將繼續致力於為世界各地的開發人員提供持續創新的動力。”

「我們很高興與 SGLang 團隊合作，」Junyu Huang 補充道。 「支持他們的 RL 框架和多LLM 服務系統，我們很高興看到這些成就加速了他們的工作並為各行各業的應用帶來強大的推理性能。 」

Novita AI 也正在與 SGLang 的大規模專家並行專案合作，這是一個開源實現，旨在達到官方 DeepSeek 部落格中詳述的吞吐量基準，合作實現這一里程碑。

此次合作體現了 Novita AI持續致力於推進推理引擎的開放生態系統，並透過共享基礎設施和聯合開發努力支持各種研究計劃。

透過與 SGLang 等先鋒開源專案的合作， Novita AI 繼續推動其人工智慧民主化的使命，使全球開發人員能夠輕鬆獲得尖端的推理能力。

關於 Novita AI

Novita AI 是一個 AI 雲端平台，可協助開發人員透過簡單的 API 輕鬆部署 AI 模型，並提供價格實惠且可靠的支持 GPU 雲端基礎設施。透過支援開源庫 LLM 推理與服務—Novita AI 正在推動人工智慧的未來發展並鼓勵整個行業的創新。