핵심 요약
vLLM의 프리필·디코드 분리 구조는 긴 프롬프트 서비스에서 운영 부하에 따라 TTFT(첫 토큰 지연), ITL(토큰 간 지연) 99백분위수(p99), 처리량 및 KV 캐시 전송 지연을 청크 프리필을 기준선으로 비교해 선택한다. 분리 프리필은 TTFT와 ITL 조정에 유연성을 제공하지만 처리량 개선은 보장하지 않으므로, 도입 전 목표 지연과 인프라 비용을 검토해야 한다.
청크 프리필 기준선
- 프리필은 입력 처리, 디코드는 출력 토큰 생성 단계임
- vLLM v0.6.1 기준 청크 프리필은 입력을 작은 청크로 나눠 디코드와 배치 처리
- 배치당 최대 토큰 수(
max_num_batched_tokens)를 작게 하면 ITL에 유리하고 크게 하면 TTFT에 유리함 - 청크 기본값 512는 A100 GPU에서 llama 70B 및 mixtral 8x22B 벤치마크에 기반함
분리 구조 비교 지표
- v0.7.2 문서 기준, 프리필과 디코드를 별도 인스턴스에서 처리하며 KV 캐시 전송함
- TTFT, ITL p99, 처리량, KV 전송 지연을 동일 조건 입력과 동시성에서 함께 측정
- 긴 꼬리 ITL 제어가 가능하나 최적 청크 크기 찾기 어려움
- TTFT 주요 제약 시 KV 전송 지연이 첫 토큰 지연에 미치는 영향 확인 권장
- 분리 프리필은 처리량 개선을 보장하지 않음
운영 도입 전 확인 사항
- 분리 프리필은 실험적 기능으로 버전별 지원 범위와 연결 방식을 공식 문서에서 재검증 필요
- GPU 배치 수, 인프라 비용도 환경별로 확인해야 함
- 2026년 가이드 예시에서 프록시는
/v1/completions,/v1/chat/completions만 처리하며, 운영 오케스트레이션은 별도 구현 필요 - 최종 도입 결정은 ITL p99 만족 여부와 KV 전송 포함 TTFT 측정치에 근거함
실무 유의점
- 청크 크기 설정 시 TTFT와 ITL p99를 동시에 고려
- 분리 구조는 UI 부담 경감 용이하나, 처리량 목표 달성 위한 별도 평가 필수
- 분리 도입 시 운영 환경 요청 경로와 인프라 상황을 종합적으로 검토