핵심 요약

LM Evaluation Harness v0.4.13은 객관식 문제 평가에 두 가지 경로를 사용한다. 첫째, 선택지별 조건부 로그우도를 비교해 모델이 가장 그럴듯하게 여기는 답을 평가한다. 둘째, 생성된 답안에서 실제 선택지를 추출해 정답과 비교한다. 이 두 경로는 각각 별도로 정확도를 집계하며, 생성 경로에서는 답 추출 실패율과 답 거부율도 확인한다. v0.4.13 버전에서는 생성 응답 내 짧은 선택지명이 더 긴 선택지를 가리던 오류를 수정하였다.

객관식 평가 절차 비교

항목 로그우도 경로 (multiple_choice) 생성 답안 경로 (generate_until)
정의 선택지별 조건부 로그우도 비교 생성된 문자열 목록에서 정규식 등 필터로 답 추출
입력 doc_to_choice: 선택지 목록, doc_to_target: 정답 인덱스 doc_to_choice 미정의, filter_list로 답 추출 규칙 설정
채점 대상 선택지 전문 또는 답안 기호 생성 응답 내 답안 기호 추출 후 정답과 비교
오류 처리 해당 없음 답 추출 실패 및 답 거부 여부 기록
정확도 산출 맞힌 문항 수 / 전체 문항 수 맞힌 문항 수 / 전체 문항 수 (답 거부 및 추출 실패는 오답 처리)

실무 유의점

  • 평가 시 동일 모델, 동일 문항, 동일 프롬프트, 동일 선택지 내용을 유지해야 한다.
  • 로그우도 경로는 후보 순위 산출에 적합하며, 생성 경로는 최종 사용자가 읽는 답을 평가한다.
  • 생성 답안에서 답을 추출하는 필터 설계 시 선택지 명칭이 짧은 경우 긴 선택지와 중복 매칭하지 않도록 주의한다.
  • 평가 결과에 Harness 버전, 답안 형식, 추출 필터를 반드시 함께 명시한다.
  • 불일치율(두 경로가 서로 다른 선택지를 고른 비율)은 두 경로 모두 유효한 답을 얻은 문항에서 산출하며, 이때 전체 문항 수와 두 답을 모두 얻은 문항 수를 모두 보고해야 한다.
  • Wang 등(2024) 논문에서는 첫 토큰 확률 기반 선택과 생성 답안 간 불일치율이 60%를 넘는 사례가 보고되었으나, 이는 전체 로그우도 기반 비교 결과는 아니다.

1차 출처