我們很高興宣布與 SGLang 建立策略合作夥伴關係。SGLang 是一個專為大型語言模型與視覺語言模型設計的快速服務引擎。透過此次合作，Novita AI 將提供高效能 GPU 雲端資源，支援 SGLang 持續進行的研究、基準測試與最佳化工作。
SGLang 是領先的推論引擎，它將結構化生成語言與高度最佳化的執行時間結合設計，實現強大的效能提升，例如高效的 RadixAttention 快取重複使用，以及針對大型語言模型與視覺語言模型的零開銷批次排程。透過將語言層級控制與後端最佳化對齊，它讓開發者能夠以可靠且可擴展的方式，構建複雜的生成工作流程、多模態應用程式以及平行推論管道。SGLang 獲得包括 NVIDIA、AMD、xAI、Oracle Cloud、Google Cloud、LinkedIn、Cursor 在內的多家領先機構支持，同時也獲得史丹佛大學、加州大學柏克萊分校與加州大學洛杉磯分校等研究團隊的肯定——這證明了其強大的社群參與度與廣泛的產業採用。
「SGLang 將語言層級原語與執行時間最佳化整合，展現了透過軟硬體協調來釋放全新效能層級的價值。」Novita AI 共同創辦人暨營運長黃峻宇表示：「透過貢獻我們的基礎設施與專業知識，我們已經支援 SGLang 開發出第一個端到端多輪強化學習框架，以及 Prism 多大型語言模型服務系統，並將持續致力於推動其創新，造福全球開發者。」
「我們非常高興能與 SGLang 團隊合作。」黃峻宇補充道：「在支援他們的強化學習框架與多大型語言模型服務系統後，我們很興奮看到這些成果加速他們的工作，並為各行各業的應用程式帶來強大的推論效能。」
Novita AI 也正與 SGLang 合作大規模專家平行專案，這是一個開源實作，旨在接近官方 DeepSeek 部落格中詳細說明的吞吐量基準，共同推動這項里程碑的實現。
此次合作反映了 Novita AI 持續推動開放式推論引擎生態系統的承諾，並透過共享基礎設施與聯合開發工作，支援多元的研究計畫。
透過與 SGLang 等先驅開源專案的合作，Novita AI 持續推進其普及 AI 的使命，讓全球開發者能夠輕鬆取得最先進的推論能力。
關於 Novita AI
Novita AI 是一個 AI 雲端平台，透過簡單的 API 幫助開發者輕鬆部署 AI 模型，並以經濟實惠且可靠的 GPU 雲端基礎設施為後盾。Novita AI 支援用於大型語言模型推論與服務的開源函式庫，正推動 AI 的未來發展，並鼓勵整個產業的創新。
