vLLM을 위한 PegaFlow 외부 KV 캐시
2.15배 빠른 시작은 vLLM과 Novita AI PegaFlow 공동 기사에서 나온 주요 수치이지만, 더 깊은 의미는 아키텍처에 있습니다. 프로덕션 LLM 서빙은 단일 추론 엔진 프로세스 외부에서 KV 캐시를 소유해야 합니다. PegaFlow는 KV 캐시를 독립적인 서비스로 만들어 vLLM 배포가 재시작, 로컬 인스턴스 및 원격 노드 간에 캐시를 보존, 공유, 확장할 수 있게 합니다.
이 글에서는 Novita AI 관점에서 PegaFlow를 만든 이유, 공개된 vLLM 통합이 보여주는 내용, 이미 소스로 확인된 주장, 그리고 개발자가 오늘 오픈 소스 구현을 어떻게 검사할 수 있는지 설명합니다.
PegaFlow GitHub 저장소를 살펴보거나 vLLM x Novita AI 공동 기사에서 전체 기술 설명을 읽어보세요.
PegaFlow가 vLLM 서빙에서 해결하는 문제
PegaFlow는 고처리량 LLM 추론에서 프로세스 로컬 KV 캐시의 취약성을 해결합니다. KV 캐시가 하나의 vLLM 엔진 프로세스 내에만 존재하면 유용한 캐시 상태가 재시작 중에 사라지거나 인스턴스 내에 갇히거나 노드 간에 효율적으로 이동하지 못할 수 있습니다.
이는 워크로드가 긴 프롬프트를 재사용하거나, 유사한 요청을 복제본에 라우팅하거나, 프리필(prefill)과 디코드(decode) 작업을 분리할 때 비용이 많이 듭니다. 캐시에는 시스템이 다시 계산하지 않아도 될 작업이 이미 포함되어 있을 수 있지만, 서빙 토폴로지가 항상 이를 재사용하지는 못합니다.
PegaFlow는 이 경계를 바꿉니다. Rust 코어로 구현된 외부 KV 캐시 서비스로 실행되며, 장기 포크가 아닌 외부 KV 커넥터 메커니즘을 통해 vLLM에 연결됩니다.
PegaFlow는 vLLM과 어떻게 통합되나요?
PegaFlow는 kv_transfer_config, PegaKVConnector, kv_connector_module_path를 통해 vLLM과 통합됩니다. 공개 기사에서 커넥터는 vLLM이 스케줄링, 모델 실행, 배칭, OpenAI 호환 서빙 경로를 계속 처리하는 동안 PegaFlow가 런타임에 주요 KV 캐시 작업을 인계받을 수 있게 합니다.
현재 공개 저장소의 프레임워크 통합 테이블에는 vLLM이 준비됨(Ready)으로 표시되어 있으며, 퀵 스타트에서 다음과 같은 커넥터 구성을 보여줍니다:
vllm serve Qwen/Qwen3-0.6B \
--kv-transfer-config '{"kv_connector": "PegaKVConnector", "kv_role": "kv_both", "kv_connector_module_path": "pegaflow.connector"}'
실질적인 이점은 더 깔끔한 소유권 모델입니다. vLLM은 서빙 엔진으로 남고, PegaFlow는 외부 KV 캐시 저장, 전송, 공유 및 관련 캐시 관찰 가능성을 소유합니다.
Novita AI 아키텍처가 추가하는 점
Novita AI의 설계 목표는 KV 캐시를 임시 프로세스 메모리가 아닌 프로덕션 서빙 인프라처럼 동작하게 하는 것입니다. 즉, PegaFlow는 독립적인 서비스 경계, Rust 데이터 경로, 공유 캐시 풀, 다중 계층 저장소를 중심으로 설계되었습니다.
| 아키텍처 선택 | 개발자에게 중요한 이유 | 공개 소스 |
|---|---|---|
| 독립적인 사이드카 서비스 | KV 캐시가 추론 엔진 재시작 후에도 생존하고 vLLM 프로세스와 별도로 확장 가능 | PegaFlow README |
| GIL 없는 Rust 코어 | 캐시 핫 경로가 Python 오버헤드를 피하고 추론 엔진 스레드가 서빙에 집중할 수 있음 | PegaFlow README |
| 고정 호스트 메모리, RDMA 원격 메모리, SSD 캐시 | 캐시가 더 빠른 로컬 메모리, 원격 노드 메모리, 더 큰 SSD 백업 용량을 포괄할 수 있음 | vLLM 기사 |
| Prometheus 메트릭 및 OTLP 내보내기 | 운영자가 KV 재사용을 숨겨진 엔진 세부 사항이 아닌 캐시 동작으로 관찰 가능 | PegaFlow README |
마지막 확인: 2026-05-20. 이 세부 사항은 vLLM 공동 기사와 공개 novitalabs/pegaflow README에서 가져왔습니다.
어떤 성능 결과가 공개되었나요?
공개된 성능 주장은 모든 워크로드에 대한 일반적인 보장이 아닌, vLLM 공동 기사와 저장소 벤치마크의 PegaFlow 평가 결과로 읽어야 합니다. 캐시 적중률, 프롬프트 재사용, 모델 형태, 하드웨어, 네트워크 토폴로지, 요청 라우팅 모두 실제 배포에 영향을 미칩니다.
| 시나리오 | 보고된 결과 | 출처 |
|---|---|---|
| 사전 소유된 500GiB 호스트 KV 풀로 vLLM 시작 | 2.15배 더 빠른 시작 | vLLM 공동 기사 |
| 8개의 Qwen3-8B 인스턴스가 하나의 호스트 캐시 공유 | 56% 더 높은 처리량 | vLLM 공동 기사 |
| TP8을 사용한 DeepSeek-V3.2 MLA | 72% 더 높은 처리량 | vLLM 공동 기사 |
| 내부 RDMA 클러스터 원격 읽기 | 평균 원격 읽기 처리량 194GB/s | vLLM 공동 기사 |
| H800 참조 벤치마크, Llama-3.1-8B, 웜 캐시 대 콜드 캐시 | TTFT 평균 572.5ms에서 61.5ms로 감소; P99 TTFT 1113.7ms에서 77.0ms로 감소 | PegaFlow README |
마지막 확인: 2026-05-20. RDMA 수치는 소스 기사에서 내부 클러스터 결과로 설명되므로, 보편적인 처리량 약속이 아닌 보고된 평가 데이터로 이해해야 합니다.
외부 KV 캐시가 가장 유용한 경우
외부 KV 캐시는 프롬프트 재사용이 충분히 높아 재계산이 지연 시간, 처리량 또는 GPU 활용도에 눈에 띄는 영향을 미칠 때 가장 유용합니다. 거의 모든 요청이 고유하고 캐시 재사용이 자연적으로 낮은 워크로드에는 덜 유용합니다.
- 빈번한 재시작: 캐시를 엔진 외부에 유지하면 캐시 상태가 유용할 때 재시작 패널티를 줄일 수 있습니다.
- 다중 인스턴스 서빙: 호스트 캐시를 공유하면 로컬 vLLM 인스턴스 간의 중복 프리필 작업을 줄일 수 있습니다.
- 다중 노드 배포: RDMA 기반 원격 캐시는 유용한 KV 블록을 한 대의 머신 이상에서 사용할 수 있게 합니다.
- 프리필/디코드 분리: 외부 캐시는 서빙 시스템에 단계 간 명확한 핸드오프 지점을 제공할 수 있습니다.
Novita AI에게 이는 더 넓은 인프라 원칙의 일부입니다. 프로덕션 AI 시스템은 트래픽 패턴이 복잡해질 때 서빙 엔진, 메모리 계층, 라우팅 계층, 관찰 가능성 계층이 독립적으로 진화할 수 있어야 합니다.
개발자가 오늘 PegaFlow를 확인하는 방법
개발자는 공개 GitHub 저장소를 확인하고 README에서 참조하는 게시된 패키지를 설치할 수 있습니다. 저장소에는 CUDA 12 패키지, CUDA 13 패키지, vLLM 커넥터 예제, 서버 구성, P2P RDMA 설정, 프리필/디코드 라우팅, 메트릭, 프로젝트 목표가 문서화되어 있습니다.
uv pip install pegaflow-llm # CUDA 12
uv pip install pegaflow-llm-cu13 # CUDA 13
README에 있는 가장 간단한 로컬 서버 명령어는 다음과 같습니다:
pegaflow-server
프로덕션 평가를 위해서는 자체 프롬프트 재사용 프로필, 대상 모델, GPU 토폴로지, 메모리 용량, RDMA 또는 SSD 가정으로 시작하세요. PegaFlow는 캐시 재사용을 위한 인프라입니다. 워크로드가 캡처할 가치가 얼마나 되는지를 결정합니다.
플랫폼 팀이 도입 전에 확인해야 할 사항
플랫폼 팀은 공개 벤치마크 수치를 계획 입력으로 사용하기 전에 자체 서빙 토폴로지에 대해 PegaFlow를 검증해야 합니다. 올바른 테스트는 콜드 캐시 대 웜 캐시뿐만 아니라 캐시 재사용이 실제로 비용이나 지연 시간을 유발하는 트래픽 패턴에 나타나는지 여부입니다.
- 실제 라우팅에서 프롬프트 재사용 및 예상 KV 캐시 적중률 측정.
- 외부 소유 KV 캐시 유무에 따른 재시작 동작 비교.
- RDMA로 확장하기 전에 단일 노드 다중 인스턴스 공유 테스트.
- 관찰 가능성 확인: 캐시 적중, 미스, 전송 지연, 메모리 압력, SSD 동작.
- 배포에서 사용하는 vLLM 커넥터 경로와의 버전 호환성 확인.
이것이 오픈 소스 경계가 중요한 이유이기도 합니다. 개발자는 블랙박스 캐시 서비스에 의존하는 대신 커넥터, 서버 구성, 메트릭, 벤치마크 설정을 검사할 수 있습니다.
FAQ
PegaFlow란 무엇인가요?
PegaFlow는 Novita AI의 오픈 소스 LLM 추론용 KV 캐시 저장 엔진입니다. 독립적인 서비스로 실행되며 외부 KV 커넥터 경로를 통해 vLLM에 연결됩니다.
PegaFlow에 vLLM 포크가 필요한가요?
아니요. 공개된 vLLM 기사는 PegaFlow가 kv_transfer_config와 PegaKVConnector를 통해 연결되며, 외부 패키지가 kv_connector_module_path를 통해 로드된다고 설명합니다.
어떤 성능 결과가 공개되었나요?
vLLM 공동 기사는 2.15배 더 빠른 시작, 공유 호스트 캐시 설정에서 56% 더 높은 처리량, DeepSeek-V3.2 MLA 설정에서 72% 더 높은 처리량, 내부 RDMA 클러스터에서 평균 원격 읽기 처리량 194GB/s를 보고했습니다. README는 또한 웜 캐시 참조 벤치마크에 대한 H800 TTFT 감소를 보고합니다.
개발자는 어디서 PegaFlow를 시도할 수 있나요?
개발자는 공개 novitalabs/pegaflow 저장소를 검토하고, CUDA 12용 pegaflow-llm 또는 CUDA 13용 pegaflow-llm-cu13을 설치한 후 저장소 퀵 스타트를 따라하면 됩니다.
결론
PegaFlow는 vLLM을 사용한 프로덕션 LLM 추론을 위한 Novita AI의 외부 KV 캐시 작업입니다. 독립적인 캐시 서비스, Rust 데이터 경로, 공유 캐시 풀, vLLM 포크를 피하는 커넥터 경계를 갖추고 있습니다. 핵심 요점은 간단합니다. KV 캐시가 프로세스 로컬 상태가 아닌 인프라가 되면 서빙 팀이 재시작, 공유, 확장, 관찰 가능성에 대한 더 많은 제어권을 얻을 수 있습니다. PegaFlow 저장소를 검토하고, 공개 결과를 자신의 워크로드와 비교하고, 모델 API, 에이전트 실행, 또는 그 서빙 스택 주변의 GPU 워크플로가 필요할 때 Novita AI의 더 넓은 개발자 인프라를 사용하세요.
