Temos o prazer de anunciar uma parceria estratégica com a SGLang, um mecanismo de serving rápido para modelos de linguagem de grande porte e modelos de linguagem visual. Através desta colaboração, a Novita AI fornecerá recursos de GPU em nuvem de alto desempenho para os esforços contínuos de pesquisa, benchmarking e otimização da SGLang.
A SGLang é um mecanismo de inferência líder que co-projeta uma linguagem de geração estruturada com um runtime altamente otimizado, possibilitando ganhos de desempenho poderosos, como a reutilização eficiente de cache RadixAttention e o agendamento de lotes com sobrecarga zero para modelos de linguagem grandes e de visão-linguagem. Ao alinhar o controle em nível de linguagem com otimizações de backend, capacita desenvolvedores a construir fluxos de geração complexos, aplicações multimodais e pipelines de inferência paralela com confiabilidade e escala. A SGLang é apoiada por instituições líderes, incluindo NVIDIA, AMD, xAI, Oracle Cloud, Google Cloud, LinkedIn, Cursor, juntamente com grupos de pesquisa em Stanford, Universidade da Califórnia, Berkeley, e Universidade da Califórnia, Los Angeles — evidência de um forte engajamento da comunidade e ampla adoção na indústria.
“A integração de primitivos de nível de linguagem com otimizações de runtime pela SGLang demonstra o valor de alinhar software e hardware para desbloquear novos níveis de desempenho”, disse Junyu Huang, Co-fundador e COO da Novita AI. “Ao contribuir com nossa infraestrutura e expertise, já apoiamos o desenvolvimento do primeiro framework de aprendizado por reforço (RL) multiturno ponta a ponta da SGLang e do sistema de serving multi-modelo de linguagem grande Prism, e permanecemos comprometidos em impulsionar suas inovações contínuas para desenvolvedores em todo o mundo.”
“Estamos muito felizes em fazer parceria com a equipe da SGLang”, acrescentou Junyu Huang. “Tendo apoiado seu framework de RL e sistema multi-LLM, estamos animados em ver essas conquistas acelerarem seu trabalho e trazerem desempenho de inferência poderoso para aplicações em todos os setores.”
A Novita AI também está colaborando no projeto de paralelismo de especialistas em grande escala da SGLang, uma implementação open-source projetada para se aproximar dos benchmarks de throughput detalhados no blog oficial da DeepSeek, fazendo parceria para concretizar esse marco.
Esta colaboração reflete o compromisso contínuo da Novita AI em avançar um ecossistema aberto de mecanismos de inferência e apoiar diversas iniciativas de pesquisa por meio de infraestrutura compartilhada e esforços conjuntos de desenvolvimento.
Através de colaborações com projetos pioneiros de código aberto como a SGLang, a Novita AI continua a avançar sua missão de democratizar a IA, tornando capacidades de inferência de ponta prontamente disponíveis para desenvolvedores em todo o mundo.
Sobre a Novita AI
A Novita AI é uma plataforma de nuvem de IA que ajuda desenvolvedores a implantar facilmente modelos de IA através de uma API simples, apoiada por uma infraestrutura de GPU em nuvem acessível e confiável. Ao apoiar bibliotecas open-source para inferência e serving de LLMs — a Novita AI está impulsionando o futuro da IA e incentivando a inovação em toda a indústria.
