Blog Novita AI

Déployez des modèles IA facilement avec notre API simple.
Construisez et évoluez sur un cloud GPU fiable et abordable.

Filtrer les articles par catégorie

Cache KV externe PegaFlow pour vLLM

Cache KV externe PegaFlow pour vLLM

Le cache KV externe PegaFlow aide les équipes de déploiement vLLM à préserver et partager le cache KV entre redémarrages, instances et nœuds RDMA.