我们很高兴宣布与 SGLang 建立战略合作伙伴关系，SGLang 是一个针对大型语言模型和视觉语言模型的高效服务引擎。通过此次合作，Novita AI 将为 SGLang 正在进行的研究、基准测试和优化工作提供高性能 GPU 云资源。
SGLang 是一款领先的推理引擎，它通过将结构化生成语言与高度优化的运行时协同设计，实现了强大的性能提升，例如高效的 RadixAttention 缓存复用以及大型语言模型和视觉语言模型的零开销批处理调度。通过将语言级控制与后端优化相结合，SGLang 使开发者能够以可靠性和规模化构建复杂的生成工作流、多模态应用和并行推理管道。SGLang 得到了包括 NVIDIA、AMD、xAI、Oracle Cloud、Google Cloud、LinkedIn、Cursor，以及斯坦福大学、加州大学伯克利分校和加州大学洛杉矶分校的研究团队在内的领先机构的支持，这证明了其强大的社区参与度和广泛的行业采用。
“SGLang 将语言级原语与运行时优化相结合，展示了通过软硬件协同解锁新性能水平的价值，”Novita AI 联合创始人兼首席运营官 Junyu Huang 表示。“通过贡献我们的基础设施和专业知识，我们已经支持了 SGLang 首个端到端多轮强化学习（RL）框架以及 Prism 多大型语言模型服务系统的开发，并将继续致力于为全球开发者推动其持续创新。”
“我们很高兴能与 SGLang 团队合作，”Junyu Huang 补充道。“在支持了他们的 RL 框架和多 LLM 服务系统之后，我们很期待看到这些成果加速他们的工作，并为各行业的应用带来强大的推理性能。”
Novita AI 还与 SGLang 在大规模专家并行项目上展开合作，这是一个开源实现，旨在接近官方 DeepSeek 博客中详细描述的吞吐量基准，共同推动这一里程碑的实现。
此次合作反映了 Novita AI 持续推动推理引擎开放生态系统的承诺，并通过共享基础设施和联合开发工作支持多样化的研究计划。
通过与 SGLang 等开创性开源项目的合作，Novita AI 持续推动其普及人工智能的使命，让全球开发者能够轻松获得先进的推理能力。
关于 Novita AI
Novita AI 是一个 AI 云平台，通过简单的 API 帮助开发者轻松部署 AI 模型，并辅以经济实惠且可靠的 GPU 云基础设施。通过支持用于 LLM 推理和服务的开源库，Novita AI 正在推动 AI 的未来，并促进整个行业的创新。
