Nous sommes ravis d’annoncer un partenariat stratégique avec SGLang, un moteur de service rapide pour les grands modèles de langage et les modèles de langage visuel. Grâce à cette collaboration, Novita AI fournira des ressources cloud GPU haute performance pour les efforts continus de recherche, de benchmark et d’optimisation de SGLang.
SGLang est un moteur d’inférence de premier plan qui co-conçoit un langage de génération structurée avec un runtime hautement optimisé, permettant des gains de performance puissants tels que la réutilisation efficace du cache RadixAttention et la planification par lots à surcharge nulle pour les grands modèles de langage et de vision-langage. En alignant le contrôle au niveau du langage avec les optimisations du backend, il permet aux développeurs de construire des workflows de génération complexes, des applications multimodales et des pipelines d’inférence parallèles avec fiabilité et passage à l’échelle. SGLang est soutenu par des institutions de premier plan, notamment NVIDIA, AMD, xAI, Oracle Cloud, Google Cloud, LinkedIn, Cursor, ainsi que par des groupes de recherche à Stanford, l’Université de Californie à Berkeley et l’Université de Californie à Los Angeles — preuve d’un fort engagement communautaire et d’une large adoption industrielle.
« L’intégration par SGLang de primitives au niveau du langage avec des optimisations d’exécution démontre la valeur de l’alignement du logiciel et du matériel pour débloquer de nouveaux niveaux de performance », a déclaré Junyu Huang, co-fondateur et COO de Novita AI. « En apportant notre infrastructure et notre expertise, nous avons déjà soutenu le développement du premier cadre d’apprentissage par renforcement (RL) multi-tours de bout en bout de SGLang et du système de service multi-grand modèle de langage Prism, et nous restons déterminés à alimenter ses innovations continues pour les développeurs du monde entier. »
« Nous sommes ravis de nous associer à l’équipe SGLang », a ajouté Junyu Huang. « Après avoir soutenu leur cadre RL et leur système de service multi-LLM, nous sommes enthousiastes de voir ces réalisations accélérer leur travail et apporter des performances d’inférence puissantes aux applications de tous les secteurs. »
Novita AI collabore également au projet de parallélisme d’experts à grande échelle de SGLang, une implémentation open source conçue pour approcher les seuils de débit détaillés dans le blog officiel de DeepSeek, en s’associant pour concrétiser cette étape importante.
Cette collaboration reflète l’engagement continu de Novita AI à faire progresser un écosystème ouvert de moteurs d’inférence et à soutenir diverses initiatives de recherche grâce à une infrastructure partagée et des efforts de développement conjoints.
Grâce à des collaborations avec des projets open source pionniers comme SGLang, Novita AI continue de faire avancer sa mission de démocratisation de l’IA, rendant les capacités d’inférence de pointe facilement accessibles aux développeurs du monde entier.
À propos de Novita AI
Novita AI est une plateforme cloud IA qui aide les développeurs à déployer facilement des modèles d’IA via une API simple, soutenue par une infrastructure cloud GPU abordable et fiable. En soutenant les bibliothèques open source pour l’inférence et le service des LLM, Novita AI façonne l’avenir de l’IA et encourage l’innovation dans tous les secteurs.
