Nos complace anunciar una asociación estratégica con SGLang, un motor de servicio rápido para modelos de lenguaje grandes y modelos de lenguaje visual. A través de esta colaboración, Novita AI proporcionará recursos en la nube de GPU de alto rendimiento para las investigaciones, evaluaciones comparativas y esfuerzos de optimización en curso de SGLang.
SGLang es un motor de inferencia líder que co-diseña un lenguaje de generación estructurada con un runtime altamente optimizado, lo que permite ganancias de rendimiento significativas, como la eficiente reutilización de caché RadixAttention y la programación de lotes sin sobrecarga para modelos de lenguaje grandes y de lenguaje visual. Al alinear el control a nivel de lenguaje con las optimizaciones del backend, permite a los desarrolladores construir flujos de trabajo de generación complejos, aplicaciones multimodales y pipelines de inferencia paralela con fiabilidad y escalabilidad. SGLang cuenta con el respaldo de instituciones líderes como NVIDIA, AMD, xAI, Oracle Cloud, Google Cloud, LinkedIn, Cursor, junto con grupos de investigación de Stanford, la Universidad de California en Berkeley y la Universidad de California en Los Ángeles, lo que demuestra un fuerte compromiso comunitario y una amplia adopción en la industria.
“La integración de primitivas a nivel de lenguaje con optimizaciones del runtime por parte de SGLang demuestra el valor de alinear software y hardware para desbloquear nuevos niveles de rendimiento”, dijo Junyu Huang, cofundador y COO de Novita AI. “Al aportar nuestra infraestructura y experiencia, ya hemos apoyado el desarrollo del primer marco de aprendizaje por refuerzo (RL) de múltiples turnos integral de SGLang y el sistema de servicio Prism para múltiples modelos de lenguaje grandes, y seguimos comprometidos a impulsar sus continuas innovaciones para desarrolladores de todo el mundo”.
“Estamos encantados de asociarnos con el equipo de SGLang”, agregó Junyu Huang. “Habiendo apoyado su marco de RL y su sistema de servicio para múltiples LLM, nos emociona ver que estos logros aceleren su trabajo y lleven un potente rendimiento de inferencia a aplicaciones de todas las industrias”.
Novita AI también colabora en el proyecto de paralelismo de expertos a gran escala de SGLang, una implementación de código abierto diseñada para acercarse a los puntos de referencia de rendimiento detallados en el blog oficial de DeepSeek, asociándose para hacer realidad este hito.
Esta colaboración refleja el compromiso continuo de Novita AI con el avance de un ecosistema abierto de motores de inferencia y el apoyo a diversas iniciativas de investigación a través de infraestructura compartida y esfuerzos de desarrollo conjunto.
A través de colaboraciones con proyectos pioneros de código abierto como SGLang, Novita AI continúa avanzando en su misión de democratizar la IA, poniendo capacidades de inferencia de vanguardia a disposición de desarrolladores de todo el mundo.
Acerca de Novita AI
Novita AI es una plataforma en la nube de IA que ayuda a los desarrolladores a implementar modelos de IA fácilmente a través de una API simple, respaldada por una infraestructura de nube de GPU asequible y confiable. Al apoyar bibliotecas de código abierto para la inferencia y el servicio de LLM, Novita AI impulsa el futuro de la IA y fomenta la innovación en toda la industria.
