핵심 요약

OpenAI Batch API는 여러 요청을 한 번에 처리할 때 결과 출력 순서가 입력 순서와 다를 수 있다. 따라서 각 요청에 고유한 custom_id를 부여하고 응답의 custom_id를 기준으로 결과와 오류를 대조해야 한다. 이를 통해 요청별 성공 여부를 정확히 확인할 수 있으며, 만료 및 오류 상태도 오류 파일에서 ID별로 구분한다. 또한, 배치 API는 동기 API 대비 비용 할인이 적용되며 대기열 한도, 데이터 보존 정책도 공식 문서에서 확인해야 한다.

요청과 응답 매칭 절차

  1. custom_id 부여
    각 배치 요청에 대해 고유한 custom_id를 부여한다. 예: fruit-01, fruit-02 등. 이는 입력 순서가 아니라 요청 식별용 값이다.

  2. 출력 및 오류 파일 매칭
    API 응답에서 각 줄의 custom_id를 읽어 입력 요청과 매칭한다. 출력 파일에는 성공 결과가, 오류 파일에는 실패 사유가 기록된다. 결과 순서는 요청 순서와 다를 수 있으므로 반드시 ID를 기준으로 대조한다.

  3. 미발견 ID 처리
    출력 및 오류 파일 모두에서 찾지 못한 custom_id는 별도로 표시하여 원인 분석과 재확인이 필요하다.

  4. 만료 구분
    처리 기간은 최대 24시간이며, 기간 초과 시 미처리 요청은 자동 취소된다. batch_expired 오류가 오류 파일에 기록되므로, 출력 파일에 없다고 만료로 단정하지 말고 오류 파일도 함께 검토한다.

비용, 대기열 및 데이터 보존

  • 배치 API는 동기 API 대비 약 50% 비용 할인이 적용된다.
  • 대기열 한도는 모델별 대기 토큰 총량을 기준으로 하며, 완료 시 대기열에서 제외된다.
  • 데이터 보존 정책에 따라 /v1/batches와 /v1/files의 애플리케이션 상태는 삭제할 때까지 보존하며, Zero Data Retention 대상이 아니다. 개인정보 포함 파일 업로드 전 보존 정책을 반드시 확인한다.

실무 유의점

  • custom_id는 명확하고 고유하게 관리해야 하며, 요청과 응답 간 매칭 오차를 방지해야 한다.
  • 오류 파일과 출력 파일 모두 참고하여 배치 상태를 종합적으로 확인한다.
  • 권장 처리 기간과 데이터 보존 정책을 준수하여 주문형 작업 관리 및 개인정보 보호에 주의해야 한다.

1차 출처