핵심 요약

vLLM의 자동 접두사 캐싱은 동일한 긴 문서가 요청 앞부분에 반복 배치될 때 입력 처리 단계의 KV 캐시를 재사용하여 연산 부하를 줄인다. 이 방법은 질문 접두사가 짧거나 답변이 길 경우 효과가 제한적이다. 접두사 캐싱은 입력 토큰 처리(프리필) 단계에만 영향을 주며, 실제 답변 토큰을 생성하는 디코딩 시간은 단축하지 않는다.

접두사 캐싱 원리와 적용 절차

  • 프리필 단계에서 계산된 키-값(KV) 캐시를 재사용한다.
  • 요청을 '긴 문서 → 질문 A'와 '같은 긴 문서 → 질문 B' 형태로 구성해, 문서 부분을 공통 접두사로 인식하고 캐시를 재활용한다.
  • 질문이 문서 앞에 위치하면 접두사 공유가 분리되므로, 입력 순서에 유의해야 한다.

블록 경계와 캐시 재사용 제한사항

  • vLLM은 미완성 KV 캐시 블록은 저장할 수 없어 블록 경계에 맞지 않는 후행 토큰은 재계산한다.
  • 기존 KV 캐시 블록은 재할당 시점에 해시 및 캐시 항목이 삭제되어 동일 블록 재사용이 불가능하다.
  • 캐시 동작 내용과 제한은 사용하는 vLLM 버전 문서에서 반드시 확인해야 한다.

성능 평가 방법

  • 캐싱 적용 요청과 미적용 요청을 동일 입력·출력 조건에서 비교한다.
  • 첫 요청과 동일 문서 재사용 후속 요청을 구분하여, 첫 토큰 생성 시간과 전체 응답 시간을 별도 기록한다.
  • 긴 답변 작업의 경우 디코딩 시간이 캐싱의 영향을 받지 않으므로 두 시간 측정을 구분하는 것이 중요하다.

운영 전 점검 사항

  • 반복 재사용 대상 문서가 요청 앞부분에 정확히 동일 순서로 들어가는지 확인한다.
  • 메모리 용량 및 동시 요청 처리 조건을 설정한다.
  • 캐시 활성화(enable_prefix_caching = True)와 비활성화 상태로 각각 측정을 수행한다.
  • vLLM 기본 설정과 모델별 제한사항을 적용 전 반드시 검토한다.

1차 출처