핵심 요약

AI에게 요약 지시문을 변경한 이후에는 단순히 문장 자연스러움만 평가하지 말고, 동일한 자료에서 중요한 사실을 얼마나 잘 포함했는지 비교해야 한다. 이를 위해 사전에 평가 목적과 명확한 통과 기준을 정하고, 다양한 난이도 자료를 포함해 지시문별 결과를 같은 조건에서 비교해야 한다. 누락 정보, 추가 정보 여부를 따로 점검하며, 여러 차례 반복 평가를 통해 문제점을 확인하는 절차가 필요하다.

절차 및 체크리스트

단계 세부 내용
1. 평가 목적 및 기준 설정 - 요약에서 반드시 포함해야 할 정보(예: 결정사항, 담당자, 기한) 정의
  • 자료에 없는 정보 추가 금지 조건 명시
  • 문장 매끄러움과 사실 정확성은 별도로 평가 | | 2. 다양한 자료 선정 | - 일반적이고 이해하기 쉬운 자료뿐 아니라 누락, 변경 등 혼란 유발 사례 포함
  • 개인정보 등 민감 정보는 제거하거나 가상 자료로 대체 | | 3. 동일 조건 비교 | - 기존 지시문과 변경된 지시문에 동일 예시 입력
  • 모델, 자료, 답변 길이 등 설정 동일 유지
  • 변경 내용을 상세 기록 | | 4. 결과 분석 | - 누락된 결정사항 및 담당자, 기한 확인
  • 원문에 없는 정보 생성 여부 점검
  • 결과 길이 및 가독성은 부차적 비교 요소 | | 5. 반복 평가 및 문제점 수집 | - 동일 조건 결과 반복 생성하여 일관성 확인
  • 문제 발생 사례별 원인 기록 후 다음 비교에 반영
  • 다양한 문서 형식에 대한 적용 가능성 점검 |

실무 유의점

  • 한 번의 테스트 결과로 결론을 내리지 말아야 한다.
  • 평가 시 사실 기반 확인은 사람이 원문과 대조하는 과정을 포함해야 하며, 자동화된 규칙과 병행 사용한다.
  • 실제 업무 환경에는 개인정보 보호 및 공유 권한 설정을 반드시 확인한다.
  • 테스트 자료 선택 시 업무 적용 범위를 충분히 반영해야 한다.

1차 출처