핵심 요약
AI 문의 분류의 정확도를 높이기 위해 각 문의에 정답 라벨과 분류 기준을 명확히 설정한다. 개선용 가상 사례와 별도 평가용 사례를 구분하여, AI 출력 결과를 정해진 기준과 비교 평가한다. 평가에서는 라벨의 정확 일치 여부를 확인하고, 불일치 시 사례와 판단 기준을 인간이 재검토한다.
분류 기준 설정
- 라벨은 문의 주제별로 명확히 정의한다(예: 환불, 배송).
- 다중 주제 문의 시 우선 순위를 지정한다. 예를 들어, 배송 문제를 이유로 한 환불 요청 시 '환불' 라벨을 우선한다.
- 판단이 어려운 문의에는 ‘검토 필요’ 라벨을 부여한다.
- 성공 기준으로 AI가 출력한 라벨 하나가 정답과 일치하는지를 확인한다.
개선용 사례 작성
- 실제 고객 정보 대신 권한 있는 가상의 비민감 사례를 사용한다.
- 각 사례에는 명확한 정답 라벨과 판단 이유를 기재한다.
- 예시)
- “상품이 아직 도착하지 않았어요. 배송 상태를 알려 주세요.” → 정답: 배송
- “배송이 늦어져서 주문을 취소하고 환불받고 싶어요.” → 정답: 환불
- “주문한 물건에 문제가 있어요.” → 정답: 검토 필요
별도 평가 사례 관리
- 개선용 사례와는 별개로 평가용 사례를 마련한다.
- 평가용 사례에도 동일한 분류 기준과 정답 라벨을 적용하되, 프롬프트 개선에는 사용하지 않는다.
- 예시) “배송이 오래 걸려요. 결제한 금액을 돌려주세요.” → 정답: 환불
- AI 출력 결과를 정답과 비교하고 불일치 여부를 기록한다.
평가 및 검토 절차
- 기본 평가는 AI 출력 라벨과 정답 라벨의 정확한 일치를 확인하는 방식으로 진행한다.
- AI 분류가 실패한 경우, 사례 내용과 기준에 대해 사람이 재검토하여 사례 모호성 또는 기준 누락을 점검한다.
- 모든 평가 실패가 프롬프트 수정을 통해 해결되지는 않음을 고려한다.
- 다중 라벨이 포함된 문의의 경우, 우선 순위에 따라 정답 라벨을 재확인한다.
실무 유의점
- 비민감 가상 사례를 활용하여 개인정보 유출 위험을 방지해야 한다.
- 분류 기준과 우선 순위를 현업 요구 사항에 맞게 사전에 합의해야 한다.
- 불일치 사례에 대해 반복적으로 검토하고 기준을 보완하는 과정이 필요하다.
- 평가용 사례를 분리하여 객관적인 AI 성능 측정을 유지한다.