Wir freuen uns, eine strategische Partnerschaft mit SGLang bekannt zu geben, einer schnellen Serving-Engine für große Sprachmodelle und visuelle Sprachmodelle. Durch diese Zusammenarbeit wird Novita AI SGLang hochleistungsfähige GPU-Cloud-Ressourcen für dessen laufende Forschung, Benchmarking und Optimierungsbemühungen bereitstellen.
SGLang ist eine führende Inferenz-Engine, die eine strukturierte Generierungssprache mit einer hochoptimierten Laufzeit kombiniert und so leistungsstarke Verbesserungen wie effiziente Wiederverwendung von RadixAttention-Caches und termingerechte Batch-Planung für große Sprach- und visuelle Sprachmodelle ermöglicht. Durch die Abstimmung der sprachlichen Kontrolle mit Backend-Optimierungen können Entwickler komplexe Generierungs-Workflows, multimodale Anwendungen und parallele Inferenz-Pipelines zuverlässig und skalierbar erstellen. SGLang wird von führenden Institutionen unterstützt, darunter NVIDIA, AMD, xAI, Oracle Cloud, Google Cloud, LinkedIn, Cursor sowie Forschungsgruppen der Stanford University, der University of California, Berkeley und der University of California, Los Angeles – ein Beleg für starkes Community-Engagement und breite Akzeptanz in der Industrie.
„Die Integration von sprachlichen Primitive mit Laufzeitoptimierungen in SGLang zeigt den Wert der Abstimmung von Software und Hardware, um neue Leistungsniveaus zu erschließen“, sagte Junyu Huang, Mitbegründer und COO bei Novita AI. „Durch die Bereitstellung unserer Infrastruktur und Expertise haben wir bereits die Entwicklung des ersten durchgängigen Multi-Turn Reinforcement Learning (RL)-Frameworks von SGLang und des Prism-Multi-Large-Language-Model-Serving-Systems unterstützt und bleiben bestrebt, seine laufenden Innovationen für Entwickler weltweit zu fördern.“
„Wir freuen uns sehr über die Partnerschaft mit dem SGLang-Team“, ergänzte Junyu Huang. „Da wir ihr RL-Framework und das Multi-LLM-Serving-System bereits unterstützt haben, sind wir gespannt zu sehen, wie diese Errungenschaften ihre Arbeit beschleunigen und leistungsstarke Inferenzleistung in Anwendungen in allen Branchen bringen werden.“
Novita AI arbeitet auch an SGLangs groß angelegtem Expertenparallelismus-Projekt, einer Open-Source-Implementierung, die darauf abzielt, die im offiziellen DeepSeek-Blog beschriebenen Durchsatzbenchmarks zu erreichen, und unterstützt die Umsetzung dieses Meilensteins.
Diese Zusammenarbeit spiegelt Novita AIs fortlaufendes Engagement für die Förderung eines offenen Ökosystems von Inferenz-Engines und die Unterstützung verschiedener Forschungsinitiativen durch gemeinsame Infrastruktur und gemeinsame Entwicklungsbemühungen wider.
Durch Partnerschaften mit wegweisenden Open-Source-Projekten wie SGLang treibt Novita AI weiterhin seine Mission voran, KI zu demokratisieren und modernste Inferenzfähigkeiten Entwicklern weltweit leicht zugänglich zu machen.
Über Novita AI
Novita AI ist eine KI-Cloud-Plattform, die Entwicklern hilft, KI-Modelle einfach über eine einfache API bereitzustellen, unterstützt durch eine erschwingliche und zuverlässige GPU-Cloud-Infrastruktur. Durch die Unterstützung von Open-Source-Bibliotheken für LLM-Inferenz und Serving treibt Novita AI die Zukunft der KI voran und fördert Innovationen in der gesamten Branche.
