핵심 요약

Haru-4B는 약 133 ms 길이의 오디오 토큰 단위로 음성을 처리하는 전이중 대화 모델이다. 성능 측정 시 Apple M1 Max 환경에서 처리·입출력 지연 중앙값은 약 65.2 ms이며, 오디오 프레이밍에 따른 최대 133 ms의 알고리즘 지연이 추가될 수 있다. 끼어들기 성능 평가는 사용자가 발화 시작부터 모델 음성 멈춤까지(정지 지연)와 사용자가 발화 종료부터 모델의 새 발화 시작까지(응답 지연)를 분리해 측정하며, 새 요청에 대한 적절한 답변 여부도 별도 평가한다.

구분 정의 및 설명 측정 방법 및 의미
오디오 토큰 단위 약 133 ms 분량의 음성을 하나로 처리 7.5 Hz 스트림 동기화와 연속 음성 묶음 과정 포함
처리 지연 (p50) Apple M1 Max 네이티브 환경에서 약 65.2 ms 음향 인코딩, 모델 추론, 오디오 디코딩 및 입출력 지연 포함 (프레이밍 제외)
정지 지연 사용자 발화 시작점부터 기존 모델 발화 중단 시점까지 모델이 기존 발화를 멈추는 속도를 평가
응답 지연 사용자 발화 종료부터 모델 새 발화 시작까지 새 요청에 대한 답변 개시 시간을 나타냄

실무 유의점

  • 전이중 음성 대화는 말하는 중 사용자의 끼어들기를 처리하나, 단순히 음성 겹침에 무조건 발화를 중단하는 것은 적절하지 않다. 끼어들기와 맞장구 동작은 각각 성공 조건이 다르므로 평가 시 정확히 구분해야 한다.
  • 로컬 테스트 시에는 유선 마이크와 헤드폰, 볼륨 및 입력 음성을 고정하고 동일 음성 데이터를 겹쳐 넣어 다양한 조건에서 지연과 동작 실패율을 측정한다.
  • 끼어들기 실패 사례(멈추지 않거나 새 요청에 답하지 않는 경우)는 0 ms 지연 값 대신 별도로 집계하며, 맞장구 실패는 불필요한 발화권 전환으로 판단한다.
  • 실제 도입 시에는 목표 환경에서 p95 지연 값과 동작 실패율을 함께 비교하여 판단하는 것이 적합하다.
  • Apple silicon의 macOS 환경에서 네이티브 앱 경로(haru_mlx/), PyTorch 웹 데모 서버(haru/)가 존재하며, GPU 환경에서는 12 GB 이상 메모리를 권장한다.
  • 모델과 코드는 Apache License 2.0 하에 공개되어 있으며, 제3자 저작물 및 라이선스 정보는 저장소 내 THIRD_PARTY_NOTICES.md를 참고한다.

1차 출처