핵심 요약

임베딩 검색에서 내적은 벡터의 길이 영향을 받으므로 코사인 유사도와 순위 차이가 발생할 수 있다. 두 벡터를 길이 1로 정규화하면 내적과 코사인 유사도 값이 같아져, 동등한 후보 집합에서 동일한 순위를 보인다.

각도와 길이의 차이

임베딩 벡터는 검색어와 문서 내용을 수치화한 것이다. 코사인 유사도는 두 벡터 내적을 각 벡터 길이의 곱으로 나눈 값이며, 내적은 각도뿐 아니라 벡터 길이도 반영한다. 따라서 문서 벡터 길이가 다르면 같은 검색어에 대해서도 내적 순위와 코사인 유사도 순위가 달라질 수 있다. Google 공식 문서에 따르면 임베딩 벡터 길이는 학습 데이터 내 빈도에 따라 달라질 수 있다.

가상 벡터 비교 사례

검색어 벡터를 (1, 0), 문서 A를 (1, 0), 문서 B를 (1, 1)으로 설정했을 때, 검색어와 두 문서의 내적은 모두 1로 내적 순위는 공동 1위다. 코사인 유사도는 문서 A가 1, 문서 B는 1/√2 약 0.707로 문서 A가 상위다. 문서 B를 (2, 2)로 변경하면 내적은 2로 문서 B가 높아지나, 코사인 유사도는 여전히 A가 우위다.

벡터 정규화 효과

벡터 정규화란 각 벡터를 자신의 길이로 나눠 길이를 1로 만드는 작업이다. 이 과정을 검색어와 문서 벡터 모두에 적용하면, 코사인 유사도 분모가 1이 되어 내적 값과 코사인 유사도가 일치한다. 같은 후보 집합 내 점수 순위 역시 일치한다. 또한 정규화 벡터 간 유클리드 거리는 코사인 유사도가 클수록 작아진다.

실무 유의점

  • OpenAI 임베딩은 벡터 길이 1로 정규화되어 있으며, 코사인 유사도 계산에 내적을 사용할 수 있다.
  • 다른 모델 사용 시에는 해당 모델과 벡터 데이터베이스에서 제공하는 정규화 여부와 거리 지표 설정을 반드시 확인해야 한다.
  • 검색어와 문서 벡터가 같은 임베딩 공간에 존재하며 0이 아닌지 미리 검사해야 한다.
  • 점수 정렬 방향(내적 등은 큰 값부터, 거리 기반은 작은 값부터)을 명확히 이해하고 적용해야 한다.

1차 출처