A Novita AI, plataforma líder global em nuvem de IA, tem o prazer de anunciar uma parceria estratégica com a vLLM, o inovador mecanismo de inferência open-source para grandes modelos de linguagem (LLMs). Essa colaboração representa um passo significativo em sua missão compartilhada de impulsionar a inovação em IA e promover o crescimento dentro da comunidade open-source.
A vLLM é renomada por seu inovador algoritmo PagedAttention, que aumenta significativamente o desempenho e a eficiência de grandes modelos de linguagem durante a inferência. Essa tecnologia tornou a vLLM uma solução confiável para desenvolvedores, oferecendo capacidades de inferência otimizadas em termos de memória em nuvens públicas, provedores de modelos e aplicações alimentadas por IA. Ao abrir seu código-fonte, a vLLM democratizou o acesso a ferramentas de IA de ponta, permitindo que desenvolvedores otimizem seus fluxos de trabalho e reduzam custos operacionais.
“O algoritmo PagedAttention da vLLM destaca o potencial transformador da IA open-source”, disse Junyu Huang, cofundador e COO da Novita AI. “Por meio dessa colaboração, pretendemos ajudar desenvolvedores e organizações a desbloquear toda a gama de eficiências e oportunidades que esses avanços trazem para a implantação de IA.”
Como parte dessa colaboração, a Novita AI está apoiando o crescimento da vLLM fornecendo acesso a recursos computacionais de alto desempenho para testes, benchmarking, pesquisa e desenvolvimento. Essa colaboração permite a melhoria contínua das capacidades da vLLM, garantindo que suas ferramentas sejam otimizadas para uma ampla gama de aplicações e oferecendo aos desenvolvedores as formas mais eficientes de implantar grandes modelos de linguagem.
Desenvolvedores que utilizam a plataforma da Novita AI podem implantar facilmente LLMs open-source como o LLaMA 3.1, aproveitando as capacidades avançadas de inferência da vLLM. Isso simplifica o processo de desenvolvimento, acelera a implantação de aplicações e ajuda organizações a escalar suas soluções de IA com facilidade.
“Esta colaboração marca o início de um esforço de longo prazo para acelerar os avanços em IA e equipar os desenvolvedores com ferramentas de ponta para inovar em escala”, comentou Junyu Huang.
Essa parceria reflete o compromisso compartilhado da Novita AI e da vLLM em capacitar desenvolvedores e promover a IA open-source. Ao combinar a infraestrutura escalável de GPU em nuvem da Novita AI com o mecanismo de inferência de última geração da vLLM, a colaboração visa fornecer aos desenvolvedores as ferramentas e os recursos necessários para criar soluções de IA impactantes. Além disso, o esforço busca fomentar um ecossistema open-source vibrante que incentive a inovação tecnológica, impulsionando, em última análise, o desenvolvimento de aplicações de IA inovadoras em todos os setores.
Junyu Huang enfatizou: “Esta parceria é mais do que uma colaboração — é um testemunho da nossa missão compartilhada de avançar a IA open-source e criar novas oportunidades para desenvolvedores em todo o mundo.”
Sobre a Novita AI
A Novita AI é uma plataforma de nuvem de IA que oferece aos desenvolvedores uma maneira fácil de implantar modelos de IA usando nossa API simples, além de fornecer uma GPU em nuvem acessível e confiável para construir e escalar.
Ao apoiar bibliotecas open-source para inferência e serviço de LLM, como a vLLM, que é uma biblioteca rápida e fácil de usar para esse fim, a Novita AI está ajudando a moldar o futuro da IA e impulsionando a inovação em todo o setor.
