Blog de Novita AI

Implementa modelos de IA fácilmente con nuestra API simple.
Construye y escala en una nube GPU confiable y económica.

Filtrar publicaciones por categoría

PegaFlow Caché KV Externo para vLLM

PegaFlow Caché KV Externo para vLLM

El caché KV externo de PegaFlow ayuda a los equipos de servicio de vLLM a preservar y compartir el caché KV entre reinicios, instancias y nodos RDMA.