핵심 요약
OpenAI 임베딩 API에서 dimensions 파라미터를 이용해 출력 벡터의 원소 수를 줄일 수 있으나, 기존 문서 벡터가 다른 차원일 경우 이를 그대로 사용할 수 없다. 검색 인덱스는 문서 벡터와 쿼리 벡터가 동일한 차원을 가져야 하므로, 차원 변경 시 기존 문서 벡터를 새 차원에 맞게 다시 생성하고 인덱스도 새로 구성해야 한다. 또한, 차원이 같더라도 다른 임베딩 모델을 혼용해서는 안 된다. 실제 운영 전에는 비민감 테스트 문서와 쿼리로 새 인덱스의 검색 결과를 검증해야 한다.
API 요청에서 출력 차원 지정 방법
- OpenAI
POST /embeddingsAPI는 입력 텍스트를 임베딩 벡터로 변환하며, 요청 본문에dimensions옵션을 지정하면 벡터 차원을 조절할 수 있다. dimensions파라미터는text-embedding-3계열 이상 모델에서만 지원하며, 최소값은 1이다.encoding_format기본값은 실수(float) 목록이다.
차원 축소 시 기존 벡터 재생성 및 인덱스 처리 절차
- 벡터 저장소가 허용하는 차원 범위를 확인한다.
- 기존 인덱스와 차원이 다르면 새 차원에 맞는 인덱스를 새로 만들거나 벡터 필드를 추가한다.
- 원본 문서 데이터를 새 임베딩 모델과
dimensions설정으로 벡터 재생성 후 새 인덱스나 필드를 채운다. - 같은 설정으로 생성한 쿼리 벡터를 사용해 검색을 수행한다.
동일 차원이어도 모델이 다르면 혼용 불가
- 예를 들어
text-embedding-3-small과text-embedding-3-large모델은 동일 차원이라도 상호 교차 사용하지 않는다. - 인덱스와 쿼리는 반드시 동일 모델과 동일 차원 설정을 공유해야 한다.
- 비용은 임베딩 생성 시 입력 토큰 기준이므로 차원 축소만으로 비용 절감 효과가 발생한다고 보지 않는다.
실무 유의점
- 새 차원, 새 모델 인덱스 전환 시 실제 문서와 대표 쿼리를 활용해 검색 품질을 반드시 검증한다.
- 모델명과 차원 설정은 코드와 인덱스 관리 전반에 일관되게 반영한다.