핵심 요약

RAG(검색 증강 생성)에서 관련 근거 문서가 뒤로 밀려 순위에 문제를 일으키는 경우는 context precision으로 평가하고, 답변에 필요한 근거가 검색 결과에 아예 없는 문제는 context recall을 통해 확인한다. 평가 시 참조 답변과 검색된 청크를 대비하고, ID 기반 precision과 문맥 기반 precision을 적절히 활용하며, 변경된 검색 시스템 평가에서는 두 지표를 모두 비교하는 것이 중요하다.

순위와 누락 구분

  • 순위 문제: 관련 없는 청크가 앞서고, 필요한 청크가 뒤에 배치되는 경우로, 관련 근거가 검색됐으나 순서가 적합하지 않은 상태를 말한다.
  • 누락 문제: 답변에 필요한 근거 청크가 검색 결과에 전혀 포함되지 않은 경우이다.

청크는 검색 결과를 구성하는 문서의 작은 단위로 정의한다. 하나의 질문에서 순위 문제와 누락 문제는 동시에 발생할 수 있다.

평가 기준 및 지표 설명

  • Context Precision: 참조 답변 또는 참조 문맥과 검색된 문맥을 직접 비교하여 관련 청크의 순위 영향을 평가한다.

    • 참조 문맥 기반 precision과 ID 기반 precision(검색 ID와 참조 ID 일치 비율)이 있다.
    • ID 기반 precision은 검색 결과의 순서와 무관하다.
  • Context Recall: 질문에 필요한 근거가 검색 결과에 포함되었는지 비교한다.

    • LLM 기반 방식은 참조 답변을 대리 기준으로 활용한다.
    • 비LLM 기반 방식은 참조 문맥과 검색 문맥을 직접 비교한다.

점수 해석 방법

  • 참조 답변이나 참조 문맥 기반 context precision은 관련 근거 순위 변화를 반영한다.
  • ID 기반 precision은 검색 ID 일치율을 나타내므로, 순위 변화 여부와는 별개이다.
  • context recall과 검색 결과를 함께 분석하면 누락 문제 여부를 판단할 수 있다.
  • LLM 기반 recall에서는 참조 답변이 대리 기준이므로, 참조 답변에 포함된 내용을 기준으로 검색 결과 포함 여부를 판단한다.

시스템 변경 전후 평가 절차

  • 동일 질문과 동일 검색 개수 조건에서 같은 평가 방식을 적용하여 후·전 지표를 비교한다.
  • 순위 기반 precision으로 관련 청크 순위 변화를 확인하고, ID 기반 precision으로 검색 ID 일치율 변화를 점검한다.
  • context recall과 함께 분석하여 누락 변화 여부를 명확히 구분한다.
  • 점수와 더불어 실제 검색된 청크도 점검하여 어떤 근거가 누락됐거나 순위가 뒤바뀌었는지 확인한다.

실무 유의점

  • 평가 시 참조 문맥이나 답변, 검색 결과 모두를 마련해야 한다.
  • 평가 지표 선택에 따라 판정 결과 해석이 달라질 수 있으므로, 반드시 평가 컨텍스트(예: LLM 여부, 참조 기준)를 명확히 기록해야 한다.
  • 순위 문제와 누락 문제는 별도로 점검하며, 두 문제가 동시에 존재함을 인지한다.
  • 시스템 변경 시 동일 환경에서 지표를 비교하여 성능 향상 및 저하를 정확히 판단한다.

1차 출처