핵심 요약

vLLM 구조화 출력에서 JSON 스키마는 출력 데이터의 구조적 일관성을 보장한다. 하지만 출력된 값이 원문의 내용과 정확히 일치하는지 검증하려면 추가적인 의미 검증 절차가 필요하다. 구조 검사와 내용 검증을 분리하여 각각 설계하고 평가해야 한다.

구조와 값 검증 구분의 필요성

vLLM의 OpenAI 호환 서버는 여러 출력 검증 매개변수를 지원하며, 그중 json은 JSON 스키마에 기반한 출력 형식을 지정한다. JSON 스키마는 데이터 구조 및 타입을 자동으로 확인할 수 있으나, 실제 출력값이 원문과 정확히 일치하는지는 판단할 수 없다.

예를 들어 계약 당사자와 금액을 추출할 때, 금액 필드가 스키마에 부합하더라도 원문과 다른 값을 포함한다면 추출값은 부정확하다. 따라서 필드 존재여부와 타입은 구조 검사로, 값의 원문 일치성은 내용 검증 절차로 확인해야 한다.

허용값 검증 또한 마찬가지로, 필드의 값이 정해진 범위 내에 있다고 하더라도 그 값이 원문에 기반한 것인지 별도로 확인해야 한다. 검증 과정에서 원문 근거와 대조하는 절차를 마련하는 것이 중요하다.

자유 생성과 JSON 스키마 제약 비교

검증 설계 과정에서는 먼저 자유 생성 결과를 구조 검사 및 원문 대조를 통해 검증한다. 이후 동일 조건에서 JSON 스키마를 적용한 결과와 비교하여, 출력 형식과 추출값의 변화를 각각 평가한다.

평가에는 기준이 되는 원문과 정답 필드가 필요하며, 필드별 정답 일치 여부를 독립적으로 평가해야 한다. 한 필드의 정합성으로 다른 필드의 오류가 가려지는 일을 막기 위함이다.

평가 지표 및 기록 방법

  • 스키마 적합률: 전체 출력 중 스키마 검사를 통과한 비율
  • 필드 정확도: 각 필드별 추출값이 정답과 일치하는 비율
  • 필드 누락률: 추출 대상 필드가 결과에 누락된 비율

원문에 값이 없거나, 출력이 중단된 경우 등 다양한 상황을 구분하여 평가한다. 구조 검사가 실패한 경우와 값 비교에서 오류가 발생한 경우를 별도로 분류한다.

백엔드와 버전 확인의 중요성

vLLM 백엔드 변경 시 허용 토큰 수와 생성 출력에 차이가 발생할 수 있다. 따라서 평가 결과에는 사용한 백엔드와 버전을 명시하고, 설정 변경 시 동일한 평가를 반복할 필요가 있다.

출력이 구조 검사에 실패한 경우는 형식 및 필드 조건 오류로, 원문 대조 실패는 값 근거 불일치 오류로 구분한다. 실제 운영 전에는 사용 중인 vLLM 버전의 문서에서 구조화 출력 API와 백엔드, 예제 호환성을 반드시 확인해야 한다.

실무 유의점

  • JSON 스키마 검증만으로 추출값의 정확성을 판단하면 오류가 발생할 수 있으므로 원문과의 대조 절차를 반드시 추가한다.
  • 평가 시 필드별로 정확도와 누락률을 별도로 기록해 부분 오류를 식별한다.
  • 평가 환경(백엔드, 모델 버전 등)을 명확히 기록하여 결과 재현성을 확보한다.
  • 출력 실패 유형별(구조 검사 실패 vs 내용 불일치) 원인 분석 및 대응 방안을 마련한다.

1차 출처