핵심 요약
FP8 KV 캐시 양자화는 기본 스케일 1.0을 사용하는 무보정 방식과 데이터셋 기반 보정 방식을 중심으로 평가한다. vLLM 공식 문서는 데이터셋 보정을 위한 llm-compressor 도구 사용을 권장하며, 품질과 메모리 소비는 동일한 모델, 입력, 하드웨어 조건 하에서 세 가지 설정(원래 정밀도, 무보정 FP8, 보정 FP8)을 나란히 측정해 비교한다.
KV 캐시는 이전 토큰의 키와 값을 저장하는 공간으로, FP8은 이 값을 표현하는 정밀도다. 양자화 스케일은 FP8로 표현할 때 적용하는 기준값으로, 기존 정밀도를 기준으로 무보정 스케일 1.0과 보정된 스케일 세 가지 방식을 비교한다.
보정 데이터는 실제 서비스 입력 특성을 반영해야 하며, 긴 문맥 질의응답 환경에서는 관련된 긴 문서와 질문을 포함해야 한다. 보정 과정에서 헤드별 양자화 적용 시 Flash Attention 백엔드와 llm-compressor 보정 조건을 확인해야 한다.
품질 평가는 실제 서비스 작업 특성에 맞게 설계하며, 모든 설정에 동일한 평가 기준을 적용한다. 메모리는 동일 조건에서 사용량을 측정하고 응답 지연도 함께 확인한다. 측정 결과를 기반으로 기본 스케일과 보정 방식 중 적절한 선택을 하도록 한다.
적용 전에는 공식 문서 경로, 배포 환경 버전, 지원 GPU 및 백엔드를 확인하고 환경에 맞는 보정 예제를 참고한다. 헤드별 양자화 선택 시에는 관련 조건과 긴 입력 평가를 통해 품질, 메모리, 응답 지연을 재검증해야 한다.
실무 유의점
- FP8 KV 캐시 양자화는 기존 정밀도, 무보정(스케일 1.0), 보정 스케일 세 가지 설정으로 비교 평가한다.
- 보정 데이터는 실제 서비스에서 처리할 긴 입력 및 작업 유형을 반영해야 한다.
- 헤드별 양자화 적용 시 Flash Attention과 llm-compressor 보정 조건을 반드시 확인한다.
- 품질과 메모리는 동일 모델, 입력, 하드웨어 환경에서 측정하며, 지연시간도 함께 검토한다.
- 사전 확인 항목에 따라 공식 문서, 배포 환경 버전, GPU 및 백엔드 호환성을 점검한 후 보정 예제를 적용한다.