핵심 요약

AI 환각이란 생성형 AI가 사실과 다른 내용이나 존재하지 않는 세부사항을 만들어내는 현상을 말한다. IBM과 미국 국립표준기술연구소(NIST) 연구에 따르면, AI가 제공한 정보를 검증하려면 핵심 주장과 세부사항을 분리해 신뢰할 수 있는 원문과 대조해야 한다. 특히 연구 결과나 이름, 날짜 등 중요한 정보는 원문에서 직접 확인하는 것이 필수적이다.

환각의 정의 및 특성

  • AI 환각(hallucination)은 AI가 실제와 다르거나 완전히 허구인 정보를 생성하는 현상이다.
  • NIST(2025) 보고서에 따르면 대규모 언어 모델은 사실과 상이한 진술이나 허위 지식을 생성할 가능성이 존재한다.
  • 틀린 정보는 대상 실제 여부 확인이 필요하며, 지어낸 세부사항은 원문 내 존재 여부를 따져야 한다.

가상의 사례 분석

예를 들어 AI가 어떤 연구를 요약하면서 실제 연구와 반대 결론을 제시하면 잘못된 정보이다. 동시에 원문에 없는 연구 제목이나 연구자 이름을 제공했다면 이는 지어낸 세부사항이라고 판단한다. 따라서 각 항목별로 사실 여부를 개별 확인해야 한다.

검증 절차

  1. AI 답변 내 핵심 주장과 이름, 날짜 등 세부사항을 분리한다.
  2. 해당 내용과 관련된 원문 자료를 확보한다.
  3. 원문에서 각 항목이 존재하는지, 일치하는지 직접 대조한다.
  4. 연구결과 요약이 있다면 원문 결론 부분과 비교한다.

맥락 제공의 한계

  • IBM은 모델이 충분한 관련 텍스트 부족 시 세부사항을 임의로 지어낼 수 있다고 언급한다.
  • 질문 시 원문 맥락을 함께 제공하면 환각 발생 가능성을 줄일 수 있으나 완전히 제거하지는 못한다.
  • 중요한 결정을 위한 AI 답변은 원문 대조 등 신뢰 가능한 자료 검토를 반드시 동반해야 한다.

실무 유의점

  • AI가 제시한 연구 제목과 저자, 날짜, 결론 등은 반드시 원문과 대조한다.
  • AI가 생성한 탐색적 정보는 2차 검증 과정 없이는 의존하지 않는다.
  • 연구나 정책 결정에 AI 내용을 이용할 경우 추가적인 사람 검토 및 자료 확인이 필요하다.

1차 출처