핵심 요약

RAG(검색 증강 생성) 시스템에서 문서 청킹은 검색 정확도에 결정적 영향을 미치는 단계이다. 고정 길이 분할은 문장 구조를 무시하여 의미 단절과 왜곡을 초래하는 반면, 재귀적 문자 분할은 문단, 문장, 단어 단위로 계층적 구분자를 사용해 의미 보존을 구현한다. 또한, 인접 청크 간의 문맥 끊김 문제를 완화하기 위해 1020% 수준의 청크 오버랩이 권장된다. 청크 크기는 용도에 따라 400600토큰(간단 확인 문서)에서 800~1200토큰(복합 논증 문서) 사이로 조정하며, 과대 설정 시 검색 효율과 정확도가 저하될 수 있다.

RAG 파이프라인에서의 청킹 기술적 역할

대형 언어 모델(LLM)과 텍스트 임베딩 모델은 입력 토큰 수에 제한이 있어, 문서 전체를 한 번에 처리할 수 없다. 이를 위해 원문을 정보 밀도 높은 독립 의미 단위인 '청크'로 분할한 뒤 각각 벡터화 및 인덱싱한다. 사용자 질문 시 관련 청크만 선별해 LLM의 프롬프트에 입력함으로써 정확도 높은 답변을 생성한다.

고정 길이 분할의 구조적 한계

문서를 글자 수 기준(예: 500~1,000자)으로 단순 자르면 문장 경계가 무시되어 의미 단절이 발생한다. 예컨대, "A제품의 주요 성분은 B이며, C 질환 환자는 복용을 금지한다"는 문장에서 "복용을 금지한다"가 잘려 다음 청크에 포함될 경우, 해당 청크 검색 시 핵심 주의사항이 누락되어 오답을 낳을 위험이 있다.

재귀적 문자 분할의 계층적 원리

LangChain, LlamaIndex 등의 RAG 프레임워크는 이를 개선하기 위해 재귀적 문자 텍스트 분할 방식을 사용한다. 문서는 먼저 문단 단위(\n\n)로 분할하며, 청크 크기를 초과하는 경우 문장 단위(마침표, 물음표 등), 그 이후 공백이나 단어 단위로 재귀적으로 세분화한다. 이 과정은 가능한 한 의미를 훼손하지 않고 자연스러운 텍스트 청크를 생성하기 위한 구조다.

청크 오버랩의 필요성과 설정 기준

재귀적 분할로도 인접 청크 간 문맥 끊김을 완전히 없앨 수 없다. 이를 보완하기 위해 청크 경계 부근에 1020% 분량(예: 1,000자 청크 기준 100200자)을 중복 포함하여 문맥 연결을 유지한다. 오버랩 비율이 너무 높으면 벡터 DB 저장 공간과 검색 중복도가 불필요하게 증가하므로 데이터 특성에 맞게 조정해야 한다.

청크 크기 선택 시 고려사항

청크 크기가 너무 작으면(200300토큰) 검색 정확도가 높아지는 대신 문맥 부족으로 LLM이 질문 맥락을 오해할 위험이 있다. 반대로 1,500토큰 이상 큰 청크는 문서 내 불필요한 노이즈 텍스트 포함이 증가해 코사인 유사도 기반 검색 효율을 저하시킨다. 이에 단순 사실 확인 문서에는 400600토큰, 복합 논증이나 기술 해설 문서에는 800~1,200토큰과 계층적 요약 방식을 권장한다.

실무 유의점

  • 고정 길이 분할은 문장 및 문맥 단절로 인한 검색 부정확성을 유발하므로 사용에 주의해야 한다.
  • 재귀적 문자 분할을 적용하여 의미가 온전히 보존되는 청크를 생성한다.
  • 청크 오버랩 비율은 10~20% 내외로 설정하고 데이터 특성에 맞게 조정할 것.
  • 청크 크기는 문서 유형과 검색 목적에 따라 다르게 설정하며, 크기별 트레이드오프를 명확히 이해해야 한다.

1차 출처