핵심 요약
NVIDIA Model Optimizer 0.48.0에서는 NVFP4와 FP8를 혼합 정밀도 후보로 하여 5.4비트 유효 비트 예산을 설정하고 있다. 이 유효 비트는 가중치별 비용을 가중평균한 값으로, 배포 시 품질 및 메모리, 지연 임계값을 만족하는지 업무 평가를 통해 판정한다. 혼합 정밀도는 BF16이나 기본 NVFP4보다 성능 지표가 개선될 때 선택하며, 예산 증가는 MMLU 정확도 향상으로 반드시 연결되지 않는다.
5.4비트 예산과 가중치 비용 산출
general/auto_quantize/nvfp4_fp8_at_5p4bits레시피는 NVFP4(비용 4.5), FP8(비용 8), BF16(비용 16)을 후보로 하여 평균 비용 5.4비트라는 탐색 예산을 설정한다.- 비용 계산에서 임베딩 및 정규화 파라미터는 제외하며, 형식별 가중치 수에 비용을 곱해 합산 후 전체 가중치로 나눈다.
- 일부 연산(예: lm_head 출력층)이 BF16으로 남는 경우 전체 비용은 4.5비트 이상일 수 있다.
- AutoQuantize는 연산별 양자화 민감도 점수를 기반으로 정수 선형 계획법을 이용하여 비용 한도 내 최소 민감도 합을 찾는다.
예산 증가가 정확도 향상으로 직결되지 않음
- Qwen3.5-2B, Qwen3.5-9B 모델의 MMLU 벤치마크 평가에서 예산이 커질수록 대체로 정확도가 상승하나 모든 구간에서 그렇지는 않다.
- 탐색에서 최소화하는 값(민감도 점수 합)과 정확도가 반드시 연동하지 않으며, 5.4비트는 비교 출발점으로 활용한다.
동일 조건에서 BF16, 기본 NVFP4, 5.4비트 혼합 비교 절차
- TensorRT-LLM 체크포인트 대신
export_hf_checkpoint를 이용해 Hugging Face 체크포인트를 생성한다. - 대상 GPU 아키텍처, 혼합 정밀도 체크포인트 로딩, 실행 커널 지원 여부를 문서로 확인한다.
- GPU와 서빙 엔진 버전을 통일, 입력/출력 길이, 동시 요청 수, 배치 설정, KV 캐시 형식, 워밍업 조건을 고정하여 부하를 준다.
- 품질 평가는 양자화 보정에 사용하지 않은 업무 평가셋에서 BF16 대비 하락폭으로 산출하며, 하락 폭 허용선을 넘으면 제외한다.
- 피크 GPU 메모리는 서빙 중 GPU 사용량 측정값으로 비교하며, 유효 비트는 탐색 비용, 체크포인트 크기 및 메모리 사용량은 별도로 기록한다.
- 지연은 p95 TTFT(첫 토큰 도착 시간) 및 p95 TPOT(토큰당 시간)으로 구분 측정하며, 처리량과 결과를 별도로 기록한다.
허용선 초과 후보 제외 및 배포 선정 기준
- 기본 NVFP4가 허용 품질 하한 미달 시 혼합 정밀도에서 품질 회복 가능 여부 확인한다.
- BF16과 혼합 정밀도가 모두 통과 시 메모리 절감 규모가 배포 필요 수준인지 평가한다.
- 기본 NVFP4까지 통과하면 혼합 정밀도의 품질 이득과 메모리, 지연, 처리량 차이 간 가치 판단이 중요하다.
- 특정 구간(예: 동시 요청 높은 구간)에 첫 응답 문제 시 p95 TTFT 기준으로 후보 간 비교하고, TPOT 상한을 초과한 후보는 배제한다.