- ¿Qué problema resuelve PegaFlow para el servicio de vLLM?
- ¿Cómo se integra PegaFlow con vLLM?
- ¿Qué añade la arquitectura de Novita AI?
- ¿Qué resultados de rendimiento son públicos?
- ¿Cuándo es más útil el caché KV externo?
- ¿Cómo pueden los desarrolladores inspeccionar PegaFlow hoy?
- ¿Qué deberían verificar los equipos de plataforma antes de adoptarlo?
- Preguntas frecuentes
- Conclusión
- Artículos recomendados
PegaFlow Caché KV Externo para vLLM
Inicio 2,15 veces más rápido es la cifra principal del artículo conjunto de vLLM y Novita AI PegaFlow, pero el punto más profundo es arquitectónico: el servicio de LLM en producción necesita la propiedad del caché KV fuera de un solo proceso del motor de inferencia. PegaFlow convierte el caché KV en un servicio independiente, de modo que los despliegues de vLLM puedan preservar, compartir y escalar el caché entre reinicios, instancias locales y nodos remotos.
Este artículo ofrece la perspectiva de Novita AI sobre por qué construimos PegaFlow, qué muestra la integración pública de vLLM, qué afirmaciones ya están respaldadas por el código fuente, y cómo los desarrolladores pueden inspeccionar la implementación de código abierto hoy.
Explora el repositorio de PegaFlow en GitHub o lee el artículo conjunto de vLLM x Novita AI para obtener una guía técnica completa.
¿Qué problema resuelve PegaFlow para el servicio de vLLM?
PegaFlow aborda la fragilidad del caché KV local al proceso en la inferencia de LLM de alto rendimiento. Cuando el caché KV vive solo dentro de un proceso del motor de vLLM, el estado útil del caché puede desaparecer durante los reinicios, quedar atrapado dentro de una instancia o no moverse eficientemente entre nodos.
Esto se vuelve costoso cuando las cargas de trabajo reutilizan prompts largos, enrutan solicitudes similares entre réplicas o separan el trabajo de prefill y decode. El caché puede contener trabajo que el sistema no debería recomputar, pero la topología de servicio no siempre puede reutilizarlo.
PegaFlow cambia ese límite. Se ejecuta como un servicio de caché KV externo, implementado con un núcleo en Rust, y se conecta a vLLM a través del mecanismo conector KV externo, no mediante un fork de larga duración.
¿Cómo se integra PegaFlow con vLLM?
PegaFlow se integra con vLLM mediante kv_transfer_config, PegaKVConnector y kv_connector_module_path. En el artículo publicado, el conector permite que PegaFlow tome el control de las operaciones clave del caché KV en tiempo de ejecución, mientras vLLM continúa manejando la planificación, ejecución del modelo, batching y la ruta de servicio compatible con OpenAI.
El repositorio público actualmente lista vLLM como listo en su tabla de integración de frameworks y muestra esta configuración del conector en el inicio rápido:
vllm serve Qwen/Qwen3-0.6B \
--kv-transfer-config '{"kv_connector": "PegaKVConnector", "kv_role": "kv_both", "kv_connector_module_path": "pegaflow.connector"}'
El beneficio práctico es un modelo de propiedad más limpio: vLLM sigue siendo el motor de servicio, mientras que PegaFlow es dueño del almacenamiento externo del caché KV, la transferencia, el intercambio y la observabilidad relacionada con el caché.
¿Qué añade la arquitectura de Novita AI?
El objetivo de diseño de Novita AI es hacer que el caché KV se comporte como infraestructura de servicio en producción, no como memoria temporal de proceso. Esto significa que PegaFlow está diseñado en torno a un límite de servicio independiente, una ruta de datos en Rust, pools de caché compartidos y almacenamiento en varios niveles.
| Elección de arquitectura | Por qué es importante para los desarrolladores | Fuente pública |
|---|---|---|
| Servicio sidecar independiente | El caché KV puede sobrevivir a reinicios del motor de inferencia y escalar por separado del proceso de vLLM. | README de PegaFlow |
| Núcleo Rust libre de GIL | La ruta caliente del caché evita la sobrecarga de Python y mantiene los hilos del motor de inferencia enfocados en servir. | README de PegaFlow |
| Memoria host anclada, memoria remota RDMA y caché SSD | El caché puede abarcar memoria local más rápida, memoria remota de nodos y capacidad SSD más grande. | Artículo vLLM |
| Métricas Prometheus y exportación OTLP | Los operadores pueden observar el comportamiento del caché en lugar de tratar la reutilización KV como un detalle oculto del motor. | README de PegaFlow |
Última verificación: 2026-05-20. Estos detalles provienen del artículo conjunto de vLLM y del README público de novitalabs/pegaflow.
¿Qué resultados de rendimiento son públicos?
Las afirmaciones públicas de rendimiento deben leerse como resultados de evaluación de PegaFlow del artículo conjunto de vLLM y del benchmark del repositorio, no como garantías genéricas para cada carga de trabajo. La tasa de acierto del caché, la reutilización de prompts, la forma del modelo, el hardware, la topología de red y el enrutamiento de solicitudes afectan los despliegues reales.
| Escenario | Resultado informado | Fuente |
|---|---|---|
| Inicio de vLLM con pool de KV host de 500 GiB preexistente | Inicio 2,15 veces más rápido | Artículo conjunto vLLM |
| Ocho instancias de Qwen3-8B compartiendo un caché host | 56% más de rendimiento | Artículo conjunto vLLM |
| DeepSeek-V3.2 MLA con TP8 | 72% más de rendimiento | Artículo conjunto vLLM |
| Lecturas remotas en clúster RDMA interno | 194 GB/s de rendimiento promedio de lectura remota | Artículo conjunto vLLM |
| Benchmark de referencia H800, Llama-3.1-8B, caché caliente vs frío | TTFT medio reducido de 572,5 ms a 61,5 ms; P99 TTFT reducido de 1113,7 ms a 77,0 ms | README de PegaFlow |
Última verificación: 2026-05-20. La cifra de RDMA se describe en el artículo fuente como un resultado de clúster interno, por lo que debe mantenerse como dato de evaluación informado, no como una promesa de rendimiento universal.
¿Cuándo es más útil el caché KV externo?
El caché KV externo es más útil cuando la reutilización de prompts es lo suficientemente alta como para que la recomputación se vuelva visible en la latencia, el rendimiento o la utilización de GPU. Es menos útil para cargas de trabajo donde casi todas las solicitudes son únicas y la reutilización del caché es naturalmente baja.
- Reinicios frecuentes: mantener el caché fuera del motor puede reducir las penalizaciones por reinicio cuando el estado del caché sigue siendo útil.
- Servicio multi-instancia: compartir el caché host puede reducir el trabajo de prefill duplicado entre instancias locales de vLLM.
- Despliegues multi-nodo: el caché remoto respaldado por RDMA puede hacer que los bloques KV útiles estén disponibles más allá de una máquina.
- Desagregación prefill/decode: el caché externo puede dar al sistema de servicio un punto de traspaso más claro entre etapas.
Para Novita AI, esto es parte de un principio de infraestructura más amplio: los sistemas de IA en producción necesitan que el motor de servicio, la capa de memoria, la capa de enrutamiento y la capa de observabilidad evolucionen de forma independiente cuando los patrones de tráfico se vuelven complejos.
¿Cómo pueden los desarrolladores inspeccionar PegaFlow hoy?
Los desarrolladores pueden inspeccionar el repositorio público de GitHub e instalar los paquetes publicados a los que hace referencia el README. El repositorio documenta un paquete CUDA 12, un paquete CUDA 13, un ejemplo de conector vLLM, configuración del servidor, configuración RDMA P2P, enrutamiento prefill/decode, métricas y objetivos del proyecto.
uv pip install pegaflow-llm # CUDA 12
uv pip install pegaflow-llm-cu13 # CUDA 13
El comando de servidor local más simple en el README es:
pegaflow-server
Para la evaluación en producción, comienza con tu propio perfil de reutilización de prompts, modelo objetivo, topología de GPU, capacidad de memoria y suposiciones de RDMA o SSD. PegaFlow es infraestructura para la reutilización del caché; la carga de trabajo determina cuánto valor hay que capturar.
¿Qué deberían verificar los equipos de plataforma antes de adoptarlo?
Los equipos de plataforma deben validar PegaFlow contra su propia topología de servicio antes de tratar los benchmarks públicos como insumos de planificación. La prueba correcta no es solo caché frío versus caliente, sino si la reutilización del caché aparece en el patrón de tráfico que realmente impulsa el costo o la latencia.
- Mide la reutilización de prompts y la tasa de acierto esperada del caché KV bajo enrutamiento real.
- Compara el comportamiento de reinicio con y sin caché KV de propiedad externa.
- Prueba el intercambio multi-instancia en un solo nodo antes de expandir a RDMA.
- Verifica la observabilidad: aciertos de caché, fallos, latencia de transferencia, presión de memoria y comportamiento SSD.
- Confirma la compatibilidad de versiones con la ruta del conector vLLM utilizada en tu despliegue.
Esta es también la razón por la que el límite de código abierto importa. Los desarrolladores pueden inspeccionar el conector, la configuración del servidor, las métricas y la configuración del benchmark en lugar de depender de un servicio de caché de caja negra.
Preguntas frecuentes
¿Qué es PegaFlow?
PegaFlow es un motor de almacenamiento de caché KV de código abierto para inferencia de LLM de Novita AI. Se ejecuta como un servicio independiente y se conecta a vLLM a través de la ruta del conector KV externo.
¿Requiere PegaFlow un fork de vLLM?
No. El artículo publicado de vLLM describe que PegaFlow se conecta a través de kv_transfer_config y PegaKVConnector, con paquetes externos cargados mediante kv_connector_module_path.
¿Qué resultados de rendimiento son públicos?
El artículo conjunto de vLLM informa un inicio 2,15 veces más rápido, un 56% más de rendimiento en una configuración de caché host compartido, un 72% más de rendimiento para una configuración de DeepSeek-V3.2 MLA, y 194 GB/s de rendimiento promedio de lectura remota en un clúster RDMA interno. El README también informa reducciones de TTFT H800 para un benchmark de referencia con caché caliente.
¿Dónde pueden los desarrolladores probar PegaFlow?
Los desarrolladores pueden revisar el repositorio público novitalabs/pegaflow, instalar pegaflow-llm para CUDA 12 o pegaflow-llm-cu13 para CUDA 13, y seguir el inicio rápido del repositorio.
Conclusión
PegaFlow es el trabajo de caché KV externo de Novita AI para inferencia de LLM en producción con vLLM: un servicio de caché independiente, una ruta de datos en Rust, pools de caché compartidos y un límite de conector que evita un fork de vLLM. La conclusión clave es simple: cuando el caché KV se convierte en infraestructura en lugar de estado local del proceso, los equipos de servicio obtienen más control sobre reinicios, compartición, escalado y observabilidad. Revisa el repositorio de PegaFlow, compara los resultados públicos con tu propia carga de trabajo y utiliza la infraestructura más amplia de desarrolladores de Novita AI cuando necesites APIs de modelos, ejecución de agentes o flujos de trabajo de GPU en torno a esa pila de servicio.
