핵심 요약

AI가 긴 안내문에서 본인에게 적용되는 예외 조항을 누락한 경우, 안내문 전체를 재입력하는 대신 관련 기본 규칙과 예외가 포함된 단락을 선별해 묻는 방법을 다룬다. 사용자는 자신의 상황을 간단히 설명하고, 어떤 규칙이 적용되는지 근거 문장을 원문 그대로 제시해 달라고 요구하며, AI 답변의 출처 문장을 원문에서 직접 찾아 확인해야 한다.

긴 입력과 정보 위치에 따른 AI 성능

  • 구글 클라우드 용어집에 따르면, AI 모델은 한 프롬프트 내 처리 가능한 토큰 수가 제한되어 있다.
  • AI가 긴 텍스트 전체를 이해하고 필요한 문장을 모두 사용한다고 단정할 수 없다.
  • ‘Lost in the Middle’ 연구에서는 답변에 필요한 정보가 긴 입력의 처음이나 끝에 위치할 때 AI 성능이 상대적으로 우수하며, 중간에 위치할 경우 성능 저하가 관찰되었다.
  • 다른 연구에서는 상용 및 오픈소스 모델 다수가 중간 위치 정보 처리 능력이 좋으나, 관련 정보 간 거리에 따른 편향이 존재한다.
  • 또한, 긴 문서 내 근거를 대는 과제에서는 중간 위치에 따른 성능 저하가 나타나지 않은 경우도 보고되었다.

예외 단락과 기본 규칙 단락 선별 절차

  1. 안내문 내에서 ‘다만’, ‘제외’, ‘별도’ 등 예외를 알려주는 검색어를 활용해 단락을 찾는다.
  2. 예외가 포함된 문장뿐 아니라 해당 문장이 속한 단락 전체와 관련된 기본 규칙 단락 모두를 함께 가져온다.
  3. ‘별표 참조’, ‘신청 자격 항목 참조’ 등 기타 참고 문구가 있으면, 가리키는 내용을 포함해 예외 대상 및 추가 조건을 확인한다.

사례: 주민센터 강좌 신청 안내에서 예외 재질문

  • 일반 신청 마감: “강좌 신청은 12월 3일 18시에 마감한다.”
  • 대기 등록자 추가 접수: “다만 대기 등록자 중 추가 접수 문자를 받은 사람은 12월 3일 20시까지 신청할 수 있다.”

재질문 예시

나는 대기 등록자이고 추가 접수 문자를 받았다. 위 두 단락을 기준으로 내게 적용되는 마감 시간을 알려 줘. 근거 문장을 그대로 보여 주고, 판단에 필요한 문장이 누락되었다면 어떤 내용이 더 필요한지 알려 달라.

이 경우 두 조건 모두 예외 대상에 포함되므로 기본 마감 시각이 아니라 추가 접수 마감 시각인 20시가 적용된다.

AI 답변 근거 문장 원문 검증법

  • AI가 인용한 근거 문장을 원문에서 동일한 표현인지 검색해 확인한다.
  • 단순 문장 일치 여부뿐 아니라 문장이 포함된 단락 앞뒤 맥락과 구체적인 대상, 날짜, 시각 정보가 일치하는지 대조한다.
  • 예외 단락 일부만 인용했을 때는 누락된 조건이나 참조 문구가 있는지 검토한다.
  • 불분명한 경우 안내문 전체를 재독하고, 여전히 판단이 어려우면 담당 기관에 직접 문의한다.

실무 유의점

  • 긴 안내문을 AI에게 입력할 때마다 전체 내용 대신 예외 단락과 기본 규칙 단락을 묶어 제공하는 방식을 권장한다.
  • AI가 인용한 근거를 원문에서 반드시 검증해야 하며, 단순 인용 오류나 부분 누락에 주의한다.
  • 각종 예외 조건이 서로 복합적으로 적용되는 경우가 있으므로 꼼꼼하게 관련 문서 전체를 검토한다.
  • AI 답변을 맹신하지 말고 불명확한 부분은 사람 담당자에게 문의하는 절차를 유지한다.

1차 출처