핵심 요약
AI 모델은 텍스트를 글자 및 단어 단위가 아닌 토큰 단위로 처리한다. 한 토큰은 한 글자, 단어의 일부, 단어 전체 또는 구두점 등 다양한 형태가 될 수 있으며, 언어와 모델에 따라 토큰 단위가 다르다. 이로 인해 글자 수와 토큰 수의 한도가 다르게 적용된다. 특히 한국어는 영어에서 제시하는 토큰 계산 기준을 그대로 적용하는 것이 부적절하다. 또한 질문 입력과 모델의 응답 출력 토큰은 모두 모델의 최대 맥락 길이 내에 포함되어야 한다. 긴 문서를 다룰 때는 불필요한 내용을 제거하고 적절히 분할 및 요약하는 절차가 필요하다. 토큰 계산과 사용량은 API 가격 책정과 직접 연결되므로, 정확한 토큰 수를 산출하려면 해당 모델의 토크나이저를 활용해야 한다.
| 구분 | 설명 |
|---|---|
| 토큰 정의 | 텍스트 처리 단위로, 글자, 단어 일부, 구두점 등 다양한 분할 가능 |
| 영어 기준 | 약 4글자=1토큰, 100토큰=약 75단어 (영어에 한정된 대략치) |
| 한국어 처리 | 영어 기준 적용 부적절, 언어 및 인코딩에 따라 토큰 분할이 다름 |
| 입력/출력 | 질문과 자료는 입력 토큰, 모델 결과는 출력 토큰으로 모두 맥락 길이 한도 내 포함 |
| 긴 문서 처리 | 중복·불필요 문장 제거, 의미 단위 분할, 요약 후 비교, 중요 판단 시 원문 검토 필요 |
| 토큰 계산 | 모델별 토크나이저 사용 권고, API 요청 메시지 구조 및 기타 요소 포함 여부 확인 필요 |
| 요금 구분 | 토큰 수에 따른 API 요금과 별개로 채팅 서비스 구독료 및 이용 제한은 별도 조건 확인 필수 |
실무 유의점
- 토큰과 글자 수는 동일하지 않으므로 단순 글자 수 기준으로 토큰 한도를 판단하지 말아야 한다.
- 영어 토큰 계산 기준을 한국어 텍스트에 적용하는 것을 피해야 한다.
- 입력 문서와 질문, 그리고 생성된 출력 내용의 모든 토큰을 합산하여 최대 맥락 길이를 초과하지 않도록 관리한다.
- 긴 자료는 의미가 끊기지 않는 구간으로 나누고 요약하여 단계별로 처리하지만, 요약 과정에서 정보 손실 가능성을 고려해 원문과 대조한다.
- 정확한 토큰 수 계산 시 해당 AI 모델에 맞는 토크나이저를 활용해야 하며, 메시지 구조와 첨부 파일 등도 토큰 사용량에 영향을 준다.
- API 토큰 사용량과 각종 서비스 구독료는 별개의 조건이므로, 토큰 사용만으로 요금이 직접 결정된다고 판단하지 않는다.