핵심 요약
vLLM 서버는 긴 입력과 생성 요청이 혼재하는 환경에서 max_num_batched_tokens 파라미터를 조정하며 첫 토큰 지연(TTFT)과 토큰 간 지연(ITL)을 함께 평가한다. vLLM V1은 가능한 경우 청크 프리필을 기본 활성화하고 생성 중인 요청을 우선 배치한다. 토큰 예산 2048은 작은 예산 사례로, 토큰 간 지연 개선에 도움을 주며 큰 값은 첫 토큰 지연 개선에 주로 기여한다.
생성과 입력 처리가 만나는 지점
청크 프리필은 입력 처리인 프리필을 작은 조각으로 나눠 디코드 요청과 같이 배치하는 방식을 의미한다. vLLM V1에서는 디코드 요청을 우선 배치하고 남은 max_num_batched_tokens 예산으로 프리필을 스케줄링한다. 따라서 max_num_batched_tokens 설정 시, 새 요청이 첫 출력을 시작하는 데 소요되는 시간과 이미 시작한 요청의 출력 토큰 간 간격을 함께 고려해야 한다.
같은 조건에서 후보 비교
비교 시 모델, GPU, 입력·출력 길이, 요청률은 고정하고 토큰 예산만 변경한다. 실제 긴 입력과 생성 요청이 섞인 서비스 요청 구성을 반영해, 각 토큰 예산 후보의 첫 토큰 지연(TTFT), 토큰 간 지연(ITL), 처리량을 측정한다. 공식 벤치마크 문서에는 온라인 벤치마크 절차와 지연 지표, 그리고 요청별 서버 측 지표 저장 방법이 상세히 기술되어 있다.
지연 목표로 설정 고르기
TTFT는 요청 후 첫 토큰 생성까지 걸리는 시간을, ITL은 출력 토큰 간 간격을 나타낸다. 서비스에서 첫 응답 지연이 중요할 경우 TTFT를, 출력 간격 지속성이 중요할 경우 ITL을 기준으로 설정 후보를 선택한다. 단일 지표에 의존하지 말고 반드시 다른 지연 지표와 처리량도 함께 확인해야 한다. 예를 들어, 토큰 예산을 높여 TTFT 목표에는 들어오더라도 ITL도 서비스 요구 범위 내인지 검증한 후 결정한다.
권장값의 적용 조건
2048 토큰 예산은 공식 문서에서 작은 배치 토큰 예산 사례로 제시한 값으로, 모든 환경에 적용하는 최적값이 아니다. 작은 모델과 큰 GPU를 사용하는 경우 처리량 최적화를 위해 max_num_batched_tokens를 8192 이상으로 설정하는 것을 권장한다. 이 권장값은 처리량 관점이며, 반드시 같은 요청 조건에서 TTFT 및 ITL을 재검증하여 서비스 지연 목표에 부합하는지 확인해야 한다.
실무 유의점
max_num_batched_tokens설정 시 첫 토큰 지연과 토큰 간 지연 두 가지 지표를 반드시 함께 고려해야 한다.- 서비스 요구에 따라 TTFT 또는 ITL 어느 쪽을 우선할지 명확히 정의하고, 그에 기반한 후보 값을 선정한다.
- 권장값(예: 2048 또는 8192)은 후보 비교의 기준이며, 서비스 환경과 하드웨어 구성에 따라 반드시 재검증해야 한다.
- 공식 벤치마크 문서의 테스트 방법과 지표 기록 방식을 참고하여 일관된 성능 평가를 진행한다.