핵심 요약
Qdrant는 밀집 검색과 희소 검색을 결합하는 하이브리드 검색 방식을 제공한다. 밀집 검색은 의미적으로 유사한 문서를 찾는 데 활용하며, 희소 검색은 정확한 단어 일치가 필요한 경우에 사용한다. 본 문서에서는 제품 식별자가 포함된 질의와 자연어 질의를 구분해 밀집 검색과 희소 검색 결합 효과를 후보 재현율, 응답 지연 시간, 저장 및 색인 비용 관점에서 평가한다.
평가 절차 및 비교 방법
- 기준선 설정: 동일한 정답 문서 세트를 기준으로 밀집 검색 단독 결과를 기준선으로 삼는다.
- 후보 생성 및 결합: 동일 질의에 밀집 검색과 희소 검색을 병렬 실행해 각 후보 리스트를 생성하고, 이를 결합한다.
- 후보 재현율 측정: 후보 목록에 정답 문서가 포함된 비율(재현율)을 질의 유형별(식별자 vs 자연어)로 측정한다.
- 후보 수 조정 실험: 밀집 및 희소 후보 수를 변화시키면서 재현율과 최종 결과 순위 변동을 관찰한다.
후보 결합과 결과 재정렬 구분
후보를 결합하는 단계와 최종 결과의 순서를 정하는 재정렬 단계는 구분된다. 후보에 정답 문서가 없으면 재정렬 과정에서는 복구가 불가능하다. 따라서 후보에 정답 포함 여부가 재현율 평가지표에서 중요하다.
비용 평가
하이브리드 검색은 저장 공간과 색인 처리, 질의 수행 시 추가 비용이 발생한다. 동일 환경 내에서 단일 밀집 검색 대비 하이브리드 검색의 질의 지연 시간과 추가 저장·색인 비용을 함께 기록하여 비용 편익을 분석한다.
실무 유의점
- 식별자 질의에서는 희소 검색이 포함될 때 추가적인 정답 회수가 가능함을 고려해야 한다.
- 자연어 질의는 밀집 검색이 중심이므로 후보 수 조절 및 저장 비용 간 균형을 신중히 평가해야 한다.
- 후보 수 증가는 재현율 향상에 도움이나 비용 증가를 초래하므로 최적점을 찾는 튜닝이 필요하다.