SGLang(대규모 언어 모델 및 비전 언어 모델을 위한 빠른 서빙 엔진)과의 전략적 파트너십을 발표하게 되어 기쁩니다. 이번 협력을 통해 Novita AI는 SGLang의 지속적인 연구, 벤치마킹, 최적화 활동에 고성능 GPU 클라우드 리소스를 제공합니다.
SGLang은 구조화된 생성 언어와 고도로 최적화된 런타임을 공동 설계한 선도적인 추론 엔진입니다. 효율적인 RadixAttention 캐시 재사용, 대규모 언어 및 비전 언어 모델을 위한 제로 오버헤드 배치 스케줄링 등 강력한 성능 향상을 가능하게 합니다. 언어 수준의 제어를 백엔드 최적화와 결합하여 개발자가 복잡한 생성 워크플로우, 멀티모달 애플리케이션, 병렬 추론 파이프라인을 안정성과 확장성 있게 구축할 수 있도록 지원합니다. SGLang은 NVIDIA, AMD, xAI, Oracle Cloud, Google Cloud, LinkedIn, Cursor를 비롯해 Stanford, University of California, Berkeley, University of California, Los Angeles의 연구 그룹 등 주요 기관의 지원을 받으며 강력한 커뮤니티 참여와 폭넓은 업계 채택을 입증하고 있습니다.
“SGLang이 언어 수준의 프리미티브를 런타임 최적화와 통합한 방식은 소프트웨어와 하드웨어를 정렬하여 새로운 성능 수준을 여는 가치를 보여줍니다.”라고 Novita AI 공동 창립자 겸 COO Junyu Huang은 말합니다. “저희는 인프라와 전문성을 제공함으로써 SGLang의 최초 종단간 멀티턴 강화 학습(RL) 프레임워크와 Prism 멀티 대규모 언어 모델 서빙 시스템 개발을 이미 지원했으며, 앞으로도 모든 개발자를 위한 혁신을 지속적으로 추진하는 데 헌신할 것입니다.”
“SGLang 팀과 협력하게 되어 매우 기쁩니다.”라고 Junyu Huang은 덧붙였습니다. “저희는 RL 프레임워크와 멀티 LLM 서빙 시스템을 지원한 경험을 바탕으로, 이러한 성과가 SGLang의 작업을 가속화하고 업계 전반의 애플리케이션에 강력한 추론 성능을 제공할 것이라고 기대합니다.”
Novita AI는 또한 SGLang의 대규모 expert 병렬화 프로젝트에 협력하고 있습니다. 이는 공식 DeepSeek 블로그에 상세히 설명된 처리량 벤치마크에 근접하도록 설계된 오픈소스 구현으로, 이 이정표를 실현하기 위해 협력하고 있습니다.
이번 협력은 Novita AI가 추론 엔진의 개방형 생태계를 발전시키고, 공유 인프라와 공동 개발 노력을 통해 다양한 연구 이니셔티브를 지원하려는 지속적인 약속을 반영합니다.
SGLang과 같은 선도적인 오픈소스 프로젝트와의 협력을 통해 Novita AI는 AI의 민주화, 즉 최첨단 추론 기능을 전 세계 개발자에게 쉽게 제공하겠다는 사명을 계속해서 추진하고 있습니다.
Novita AI 소개
Novita AI는 개발자가 간단한 API를 통해 AI 모델을 쉽게 배포할 수 있도록 지원하는 AI 클라우드 플랫폼으로, 합리적인 가격의 안정적인 GPU 클라우드 인프라를 제공합니다. LLM 추론 및 서빙을 위한 오픈소스 라이브러리를 지원함으로써 Novita AI는 AI의 미래를 이끌고 업계 전반의 혁신을 장려하고 있습니다.
