핵심 요약
vLLM에서 생성 지연을 줄이기 위해서는 별도 모델이 필요 없는 n-gram 방식을 우선 검토하고, 운영 가능하다면 초안 모델 방식을 도입해 동일 조건에서 두 방식을 비교해야 한다. 추측 디코딩은 예상 토큰 후보를 미리 생성하고 대상 모델이 이를 검증하는 기법으로, 프롬프트 반복성, 별도 모델 운영 여부, 실제 지연 및 처리량 측정값에 따라 선택한다.
후보 생성과 검증 방식
추측 디코딩은 향후 생성할 토큰 후보를 미리 만든 후 대상 모델이 검증을 수행한다. 2023년 연구에서는 작은 근사 모델과 큰 모델의 병렬 검증을 통한 추측 실행 및 샘플링 방법을 제시했으며, T5-XXL 실험에서 기존 T5X 대비 2~3배의 가속을 보고했다. 다만, 이 결과는 특정 논문에서 얻은 실험 결과로 vLLM에서 모든 모델과 부하에 동일하게 적용되는 수치는 아니다.
초안 모델과 n-gram 방식
초안 모델 방식은 후보 생성에 별도의 모델 운영이 필수다. 따라서 운영 조건을 먼저 확인해야 한다. 반면 n-gram 방식은 프롬프트 내 연속된 토큰 묶음(ngram) 일치를 이용해 후보를 생성하며, vLLM 공식 문서에서 가볍고 활성화가 용이한 방법으로 소개된다. 입력 데이터에 반복되는 토큰 묶음이 존재하면 별도 모델 없이도 효과적인 출발점이 된다.
vLLM 공식 n-gram 예시는 대상 모델로 Qwen/Qwen3-8B를 사용하고, ngram 방식, 추측 토큰 수 5, 프롬프트 최대 조회 길이 4를 설정한다. 이 설정값은 예시일 뿐 모든 작업에 권장되는 값은 아니다.
기본선 대비 동일 조건 비교
추측 디코딩 사용 전 기본선 모델의 토큰 간 지연과 처리량을 측정한다. 동일 대상 모델, 입력, 하드웨어, 샘플링 설정 하에서 n-gram과 초안 모델 방식을 각각 적용해 성능 변화를 비교한다.
입력은 실제 작업 특성을 반영해 반복 구간 유·무에 따라 나누어 측정하며, 부하는 중간에서 낮은 QPS 조건 등 다양한 부하로 나눠 구분한다. 아울러 후보 수용률(생성 후보의 대상 모델 수용 비율)을 함께 기록해 후보 생성 방식 결정에 참고한다. 처리량도 확인해 지연 감소만이 아닌 전체 성능 관점에서 평가한다.
운영 환경별 방식 선택
별도 초안 모델 운영이 어려운 경우, 작업 내 반복 구간 존재 여부를 판단한 후 n-gram 방식을 우선 도입해 기본선 대비 토큰 간 지연과 처리량 변화를 검토한다. 별도 모델 운영 가능 시에는 초안 모델 방식을 동일 조건에서 비교 평가한다.
vLLM 공식 문서는 추측 디코딩의 성능 이득이 모델 계열, 트래픽 패턴, 하드웨어 및 샘플링 설정에 따라 달라진다고 명시한다. 최종 방식 도입 전 해당 버전 vLLM 문서 내 초안 모델 호환성과 n-gram 지원 조건을 반드시 확인해야 한다.
실무 유의점
- 추측 디코딩 방식 선택 시 프롬프트 반복성 및 업무 특성을 우선 파악한다.
- 별도 초안 모델 운영 조건과 리소스 허용 여부를 고려한다.
- 동일 하드웨어 및 샘플링 설정 하에서 기본선 대비 토큰 간 지연, 처리량, 후보 수용률을 종합 평가해야 한다.
- 모든 시험 결과는 특정 환경에 의존하므로 타 환경 전이에 주의한다.