Novita AI, ведущая мировая облачная AI-платформа, с радостью объявляет о стратегическом партнёрстве с vLLM — пионерским движком инференса с открытым исходным кодом для больших языковых моделей (LLM). Это сотрудничество знаменует собой важный шаг в их общей миссии по стимулированию инноваций в области AI и развитию сообщества открытого исходного кода.
vLLM известен своим революционным алгоритмом PagedAttention, который значительно повышает производительность и эффективность больших языковых моделей во время инференса. Эта технология сделала vLLM надёжным решением для разработчиков, предоставляя возможности инференса с оптимизацией памяти в публичных облаках, у провайдеров моделей и в AI-приложениях. Открыв свою технологию, vLLM демократизировал доступ к передовым AI-инструментам, позволяя разработчикам оптимизировать рабочие процессы и снижать эксплуатационные расходы.
«Алгоритм PagedAttention от vLLM подчёркивает трансформационный потенциал AI с открытым исходным кодом, — сказал Junyu Huang, сооснователь и COO Novita AI. — Благодаря этому сотрудничеству мы стремимся помочь разработчикам и организациям раскрыть все возможности эффективности и новые перспективы, которые эти достижения приносят в развёртывание AI».
В рамках сотрудничества Novita AI поддерживает рост vLLM, предоставляя доступ к высокопроизводительным вычислительным ресурсам для тестирования, бенчмаркинга, исследований и разработки. Это сотрудничество позволяет непрерывно улучшать возможности vLLM, обеспечивая оптимизацию его инструментов для широкого спектра приложений и предоставляя разработчикам наиболее эффективные способы развёртывания больших языковых моделей.
Разработчики, использующие платформу Novita AI, могут легко развёртывать LLM с открытым исходным кодом, такие как LLaMA 3.1, используя передовые возможности инференса vLLM. Это упрощает процесс разработки, ускоряет развёртывание приложений и помогает организациям легко масштабировать свои AI-решения.
«Это сотрудничество знаменует начало долгосрочной работы по ускорению развития AI и оснащению разработчиков передовыми инструментами для масштабных инноваций», — отметил Junyu Huang.
Это партнёрство отражает общую приверженность Novita AI и vLLM поддерживать разработчиков и продвигать AI с открытым исходным кодом. Объединяя масштабируемую GPU-облачную инфраструктуру Novita AI с современным движком инференса vLLM, сотрудничество направлено на предоставление разработчикам инструментов и ресурсов, необходимых для создания эффективных AI-решений. Кроме того, эти усилия направлены на создание активной экосистемы открытого исходного кода, которая поощряет технологические инновации и в конечном итоге способствует разработке прорывных AI-приложений в различных отраслях.
Junyu Huang подчеркнул: «Это партнёрство — не просто сотрудничество, это свидетельство нашей общей миссии по продвижению AI с открытым исходным кодом и созданию новых возможностей для разработчиков по всему миру».
О Novita AI
Novita AI — это облачная AI-платформа, которая предлагает разработчикам простой способ развёртывания AI-моделей через наш простой API, а также предоставляет доступный и надёжный GPU-облачный сервис для создания и масштабирования.
Поддерживая библиотеки с открытым исходным кодом для инференса и обслуживания LLM, такие как vLLM — быструю и удобную библиотеку для этих целей, Novita AI помогает формировать будущее AI и стимулировать инновации во всей отрасли.
