Blog da Novita AI

Implante modelos de IA facilmente com nossa API simples.
Crie e escale em uma nuvem GPU acessível e confiável.

Filtrar posts por categoria

PegaFlow Cache KV Externo para vLLM

PegaFlow Cache KV Externo para vLLM

O cache KV externo do PegaFlow ajuda equipes de serving vLLM a preservar e compartilhar o cache KV entre reinicializações, instâncias e nós RDMA.