핵심 요약

SGLang 개발팀은 Qwen3-8B 모델 대상 배치 시험에서 배치 구성 변경 시 일반 모드에서는 여러 출력이 생성되었으나, 결정론 모드에서는 조건별 고유 출력이 단일 개로 유지됨을 확인하였다. 배치 불변성 검증 절차는 단독 실행 기준 토큰 ID와 혼합 배치 결과를 비교하는 방식이며, 처리량과 지연 측정은 별도로 수행하였다.

temperature=0 상황에서 토큰 불일치 원인

temperature=0인 그리디 선택에서는 매 단계 최고 점수 토큰을 고르나, 부동소수점 연산에서 배치 크기에 따른 합산 순서 변화로 인해 결과 토큰이 달라질 수 있다. 이로 인해 동일 입력에 대해 배치 구성 차이가 결과 토큰 차이로 이어지는 배치 불변성 문제 발생 가능성이 있다.

동일 목표 요청 단독 및 혼합 배치 시험 절차

모델 버전, 토크나이저, GPU, 어텐션 백엔드 등을 고정하고, 동일 목표 요청과 고정 파라미터(temperature, 최대 생성 길이, 종료 조건)로 단독 실행 후 토큰 ID 열을 기준으로 저장한다. 이후 길이가 다른 요청을 혼합 배치로 추가해 동일 조건에서 재실행하며, 서버 기록을 통해 실 배치 포함 여부도 확인한다.

토큰 ID 열 기준 판정 방법

출력 문자열 대신 생성 시 기록된 토큰 ID 열을 비교하며, 모드 별 단독 기준과 완전 일치하는 비율, 고유 출력 수, 불일치 최초 위치를 기록한다. temperature>0 샘플링은 별도 시험하며, 시드 고정으로 단독과 혼합 배치 간 토큰 일치 여부도 확인한다.

시험 결과 개요

50회 샘플링 기준 Single, Mixed, Prefix 배치 조건에서 Qwen3-8B 모델은 일반 모드에서 FlashInfer 4개 고유 출력, FA3와 Triton 각 3개 고유 출력이 확인되었다. 반면 결정론 모드에서는 모든 백엔드와 조건에서 고유 출력 수가 1개로 안정적이었다. CUDA 그래프와 청크 프리필은 활성화하였으며 라딕스 캐시는 일부 백엔드에서 비활성화하였다.

처리 성능 시험 및 측정 기준

동시성, 요청 도착 시점 및 간격, 입력 및 최대 출력 길이 분포를 통제하며, 실제 출력 길이와 p95 지연을 비교 분석한다. 처리량은 전송 시점부터 완료 시점까지 산출한 초당 출력 토큰 수로 측정하며 실패 및 시간 초과 건수도 함께 기록하여 처리량 신뢰도를 검증한다.

별도 오프라인 시험(H200 140GB, TP1 환경)에서는 256개 RL 롤아웃 부하에서 FlashInfer와 FA3의 결정론 모드 p95 지연이 평균 34.35% 증가했다. 온라인 처리량은 실제 도착 패턴 재생 방식으로 측정하였다.

결정론적 추론 모드 적용 지침

v0.5.23 버전에서는 추측 디코딩 거절 샘플링 시 시드를 적용하여 결정론성을 확보하였다. 서버 배포 시 태그와 설정을 고정하고 추측 디코딩 활성 상태에서 모드별 단독 기준을 재확인한 후 혼합 배치 결과와 비교한다. 회귀 테스트는 실제 배치 조건에서 기준 토큰 ID 일치 여부를 우선 점검하며, 상시 서비스 도입 여부는 p95 지연과 초당 처리량 충족 여부에 따라 결정한다.

실무 유의점

  • 배치 구성 변화에 따른 결과 확인 시 단독 실행 토큰 ID 열을 반드시 기준으로 삼아야 한다.
  • 부동소수점 연산 오차로 인해 일반 모드에서 배치 불변성이 확보되지 않을 수 있으므로 결정론 모드 적용이 필요하다.
  • 처리량과 지연 측정은 동일 부하 조건에서 별도 시험하며, 초당 토큰 출력 및 실패율 등도 함께 모니터링해야 한다.
  • 실제 서비스 도입 전 추측 디코딩 시드 관리 및 모드별 기준 검증 절차를 반드시 수행해야 한다.

1차 출처