Мы рады объявить о стратегическом партнерстве с SGLang, быстрым движком обслуживания для больших языковых моделей и моделей визуального языка. Благодаря этому сотрудничеству Novita AI предоставит высокопроизводительные облачные ресурсы GPU для текущих исследований, бенчмаркинга и оптимизационных усилий SGLang.
SGLang — это ведущий инференс-движок, который совместно разрабатывает структурированный язык генерации с высокооптимизированной средой выполнения, обеспечивая мощные приросты производительности, такие как эффективное повторное использование кэша RadixAttention и пакетное планирование с нулевыми накладными расходами для больших языковых и визуально-языковых моделей. Согласуя языковой контроль с бэкенд-оптимизациями, он позволяет разработчикам создавать сложные рабочие процессы генерации, мультимодальные приложения и конвейеры параллельного вывода с надежностью и масштабируемостью. SGLang поддерживается ведущими организациями, включая NVIDIA, AMD, xAI, Oracle Cloud, Google Cloud, LinkedIn, Cursor, а также исследовательскими группами в Стэнфорде, Калифорнийском университете в Беркли и Калифорнийском университете в Лос-Анджелесе — это свидетельство активного вовлечения сообщества и широкого отраслевого внедрения.
«Интеграция языковых примитивов с оптимизациями времени выполнения в SGLang демонстрирует ценность согласования программного и аппаратного обеспечения для достижения новых уровней производительности», — сказал Junyu Huang, сооснователь и операционный директор Novita AI. «Предоставляя нашу инфраструктуру и экспертизу, мы уже поддержали разработку первого сквозного фреймворка многократного обучения с подкреплением (RL) SGLang и системы обслуживания нескольких больших языковых моделей Prism, и остаемся приверженными стимулированию его дальнейших инноваций для разработчиков по всему миру».
«Мы в восторге от партнерства с командой SGLang», — добавил Junyu Huang. «Поддержав их RL-фреймворк и систему обслуживания нескольких LLM, мы рады видеть, как эти достижения ускоряют их работу и приносят мощную производительность вывода в приложения в различных отраслях».
Novita AI также сотрудничает с проектом масштабного экспертного параллелизма SGLang — реализацией с открытым исходным кодом, предназначенной для приближения к показателям пропускной способности, описанным в официальном блоге DeepSeek, и партнерство направлено на воплощение этой вехи в жизнь.
Это сотрудничество отражает постоянную приверженность Novita AI развитию открытой экосистемы инференс-движков и поддержке разнообразных исследовательских инициатив через общую инфраструктуру и совместные усилия по разработке.
Благодаря сотрудничеству с новаторскими проектами с открытым исходным кодом, такими как SGLang, Novita AI продолжает продвигать свою миссию по демократизации ИИ, делая передовые возможности вывода легкодоступными для разработчиков по всему миру.
О компании Novita AI
Novita AI — это облачная платформа ИИ, которая помогает разработчикам легко развертывать модели ИИ через простой API, опираясь на доступную и надежную облачную инфраструктуру GPU. Поддерживая библиотеки с открытым исходным кодом для инференса и обслуживания LLM, Novita AI движет будущее ИИ и стимулирует инновации по всей отрасли.
