핵심 요약
AI가 문서나 웹페이지를 요약하는 과정에서 내부에 포함된 지시가 AI의 행동에 영향을 미칠 수 있다. 따라서 요약 결과가 원문 내용과 일치하는지 확인하고, 이메일 전송이나 파일 삭제 등 중요한 작업 전에 대상과 내용을 명확히 점검하고 승인하는 절차가 필수적이다.
자료 내 지시가 문제되는 이유
프롬프트 인젝션은 AI 모델에 의도하지 않은 행동을 유발하는 입력을 삽입하는 공격 방식이다. 간접 프롬프트 인젝션은 AI가 처리하는 외부 콘텐츠(웹페이지, 문서, 이메일 등)에 악의적인 지시를 포함시키는 형태이다. 사용자가 제출한 문서는 요약 대상이며, 문서 내 숨겨진 지시는 AI의 작동 결과에 영향을 줘 의도와 다른 결과가 나올 수 있다.
원래 사용자가 AI에 제공하거나 요청하는 지시와 문서에 포함된 지시는 출처가 상이하다. 따라서 AI가 생성한 답변에서 요약 내용과 별도 지시를 구분해 검토해야 한다.
요약 결과와 AI의 실제 행동 차이
읽기 전용 요약 도구와 이메일 또는 파일 시스템 접근 권한을 가진 AI 에이전트는 노출 정보 범위와 영향이 다르다. 읽기 전용 요약에서는 답변 내용이 원문과 일치하는지 검증하는 절차가 중요하다. 생성 AI는 가짜 정보도 사실처럼 생성할 가능성이 있으므로 원문 내 해당 정보를 반드시 확인해야 한다.
반면, AI 에이전트가 이메일 발송이나 파일 삭제 등 작업 수행 권한이 있을 경우, 단순 요약 응답 외에도 작업 요청 내용을 면밀히 확인해야 한다. 요약 읽기와 중요 데이터 전송 및 삭제 실행은 성격과 위험도가 다르다.
중요한 작업 승인 절차
문서 요약 수행 후 AI가 내용을 외부로 전송하거나 파일 삭제를 제안할 경우, 해당 요청이 본래 작업 범위에 포함되는지 우선 판단한다. 전송 대상, 전송 내용, 삭제 대상 파일 정보를 상세히 점검한 후 최종 승인 여부를 결정한다.
일부 AI 에이전트 제품은 전송, 삭제, 변경 작업 전에 사용자 확인 단계를 제공한다. 사용자 환경에서 AI 권한 및 승인 절차를 정확히 확인하고, 중요한 작업에 대해서는 승인 화면에서 다시 세밀히 점검할 필요가 있다.