DER(화자 분리 오류율)은 채점 조건을 기재하지 않고 비교하면 의미가 없다. collar의 유무와 중첩 발화(overlapping speech)를 채점할지 여부에 따라 동일한 시스템이라도 수치가 몇 포인트씩 변한다.
도메인에 따라 두 배 이상 차이 난다. DIHARD III의 공개 결과에서 전화 1대1은 DER 10~20%, 회의는 35~45% — 회의 DER의
약 절반은 중첩 발화에서 기인한다 (AMI에서 중첩 처리를 오라클(oracle)화하면 23.8% → 11.8%) —
화자 수가 늘어나면 급격히 악화된다. CALLHOME에서 2명 8.5% → 6명 40.3%. 화자 수를 알려주어도 개선되지 않는다 —
Whisper 단독으로는 화자 분리 기능이 없다. 공식 README의 능력 리스트에 포함되어 있지 않다 — 일본어의
다수 인원 회의를 대상으로 한 공개 벤치마크는 조사한 범위 내에서는 존재하지 않는다.

숫자는 모두 출처와 측정 조건과 함께 작성합니다. 확인할 수 없었던 것은 확인할 수 없었다고 작성합니다.

화자 분리 (speaker diarization)의 평가 지표는 **DER (Diarization Error Rate)**입니다. NIST의 Rich Transcription Spring 2003 Evaluation에서 도입되었으며, 공식 채점 도구는 md-eval입니다.

정의는 직관적입니다.

DER = (FA + MISS + ERROR) / TOTAL

문제는 여기서부터입니다. DER은 채점 조건을 정하지 않으면 확정되지 않습니다.

DIHARD 공식은 채점 조건을 다음과 같이 명시하고 있습니다.

NOforgiveness collar will be applied to the reference segments prior to scoring and overlapping speechWILLbe evaluated

collar: 세그먼트 경계 전후에 두는 허용 오차. DIHARD는 0초 -
중첩 발화 (overlapping speech): DIHARD는 채점 대상에 포함함

반면, CALLHOME 계열의 논문에서는 collar 0.25초를 두는 것이 관행입니다. 경계의 어긋남을 0.25초까지 눈감아주는 것과 1밀리초도 눈감아주지 않는 것은 동일한 시스템이라도 수치를 변화시킵니다.

즉, 측정 조건이 기재되지 않은 DER은 다른 수치와 나란히 비교할 수 없습니다. 벤더의 자료에 '화자 분리 정확도 ○%'라고만 적혀 있다면, 그것은 비교할 수 없는 수치입니다.

조건이 명시된 대표적인 예로 pyannote 3.1의 공식 모델 카드를 인용합니다. collar 없음 · 중첩 채점 있음 · 화자 수 수동 지정 없음이라는 가장 엄격한 설정입니다.

내역까지 살펴보면 실무적으로 유효한 사실이 하나 나옵니다.

회의 음성(AMI)에서 가장 큰 오류 성분은 Confusion이 아니라 Miss입니다. 화자를 착각하는 것이 아니라, 애초에 잡아내지 못한 발화가 9.5~11.2% 존재합니다. 이 원인은 다음 장에서 다룹니다.

출처: pyannote/speaker-diarization-3.1 (Hugging Face 모델 카드) / pyannote-audio (GitHub)

DIHARD III (2021년)는 11개 도메인의 음성으로 각 시스템을 채점했습니다. 논문의 Figure 1이 보여주는 도메인별 DER 중앙값 (Track 1)이 이 글에서 가장 중요한 숫자입니다.

• 전화 통화 (CTS): DER 10~20%
• 회의 (meeting): DER 35~45%
• 레스토랑에서의 대화: 35~45%
• Web 비디오: 35~45%

동일한 시스템이라도 전화라면 12할, 회의라면 34할 수준입니다.

게다가 이것은 Track 1, 즉 음성 구간 검출 (SAD, Speech Activity Detection) 결과가 정답으로 주어진 유리한 조건입니다. 처음부터 처리하는 Track 2의 성적은 다음과 같았습니다.

출처: Ryant et al., "The Third DIHARD Diarization Challenge", Interspeech 2021 (PDF) / 공식 리더보드

회의 음성 중, 여러 명이 동시에 말하고 있는 시간의 비율입니다.

이것이 DER에 얼마나 영향을 미치는지 분리하여 실험한 사례가 있습니다. AMI Headset mix 결과입니다.

중첩을 완벽하게 처리할 수 있다면 23.8% → 11.8%, 즉 절반이 됩니다. 역으로 말하면, 현재 회의 DER의 약 절반은 중첩 발화가 원인입니다. 제2장에서 Miss가 컸던 이유가 바로 이것입니다.

출처: Bredin & Laurent, Interspeech 2020 / arXiv:2509.26177 / MERL TR2026-008

CALLHOME (전화 통화, collar 0.25초)을 화자 수별로 채점한 결과입니다.

2화자에서 6화자로 갈 때 약 4.7배 차이 납니다. 그리고 주목해야 할 점은 마지막 행으로, 화자 수를 정답으로 주어도 개선되지 않는다는 것입니다 (6화자에서 40.29 → 41.07). 설정 화면에서 인원수를 입력하면 해결되는 문제가 아닙니다.

나아가, 모델에 따라서는 구조적인 화자 수의 상한이 존재합니다. 2025년 벤치마크에서 Sortformer 계열이 5화자 이상에서 급격히 악화되었으며, 논문에서는 그 원인을 "4화자 상한"이라고 명시하고 있습니다.

출처: Horiguchi et al., Interspeech 2020 / arXiv:2509.26177

제2장의 표를 바탕으로, 동일한 시스템·동일한 회의에서의 비교입니다.

• AMI 헤드셋 mix: DER 18.8% (Miss 9.5 / Conf 5.7)
• AMI 원격 마이크 어레이 ch.1: DER 22.4% (Miss 11.2 / Conf 7.5)

Miss와 Confusion 모두 악화됩니다. CHiME-7/8 리뷰 논문은 더욱 강력하게, CHiME-6에 대해 "마이크가 다르다는 이유만으로 DER이 10포인트 이상 변할 수 있다"고 보고하고 있습니다.

이는 구현 시 처음에 가장 많이 빠지는 함정이므로 명시해 둡니다.

OpenAI의 Whisper 공식 README에서 언급하는 능력은 다음 4가지입니다.

다국어 음성 인식 (multilingual speech recognition), 음성 번역 (speech translation), 구어 언어 식별 (spoken language identification), 그리고

음성 활동 감지 (voice activity detection)

화자 분리 (diarization)는 포함되어 있지 않습니다. VAD (음성 구간 감지)는 있지만, 그것은 "누군가 말하고 있는가"이지 "누가 말하고 있는가"가 아닙니다. Whisper로 화자를 구분하고 싶다면, pyannote.audio 등과 같은 별도의 화자 분리 시스템과 조합해야 합니다.

2026년 8월 시점에서 gpt-4o-transcribe-diarize를 사용할 수 있습니다. 주의해야 할 점을 포함한 사양은 다음과 같습니다.

• response_format에 "diarized_json"을 지정하면 segment(세그먼트)별로 speaker / start / end가 반환됩니다. 30초를 초과하는 음성은 chunking_strategy 지정이 필수입니다.
• known_speaker_names[] / known_speaker_references[]로 기지 화자를 등록할 수 있지만, 최대 4명까지입니다. 참조 음성은 각 2~10초입니다.
• Realtime transcription sessions(실시간 전사 세션)에서는 지원되지 않습니다. ("Speaker labeling is available through /v1/audio/transcriptions. It isn't supported in Realtime transcription sessions.")
• prompt 파라미터는 사용할 수 없습니다. timestamp granularities(타임스탬프 세밀도)도 사용 불가합니다.
• 요금: 입력 $2.50 / 1M audio tokens, 출력 $10.00 / 1M tokens

일본어 화자 분리 성능에 관한 공식 수치는 확인할 수 없었습니다.

출처: Models: gpt-4o-transcribe-diarize / Speech to text 가이드

이 부분이 일본어로 업무를 하는 사람들에게 중요한 이야기입니다.

일본어 다수 인원 회의를 대상으로 하며, 조건이 명시된 공개 DER 벤치마크는 조사한 범위 내에서는 존재하지 않았습니다.

일본어 음성의 대표적인 공개 코퍼스(corpus)는 국립국어연구소의 **CSJ (일본어 구어 코퍼스)**이지만, 내역은 다음과 같습니다.

661.6시간 중 대화는 16.2시간뿐이며, 그마저도 모두 2인 간의 대화입니다. 다수 인원 회의 녹음은 포함되어 있지 않습니다.

즉, 일본어에는 AMI corpus에 상응하는 "회의 화자 분리를 측정하는 공통의 척도"가 없습니다. 벤더가 "일본어에서 고정밀"이라고 주장하더라도, 제3자가 동일한 조건으로 검증할 수 있는 수단이 공개되어 있지 않다는 것이 2026년 8월 시점의 상황입니다.

(2025년 12월에 일본어 3인 멀티파티 데이터셋 공개가 발표되었으나, 상용이며 가격은 비공개, DER 결과도 미공개 상태입니다.)

일본어는 주어를 생략하므로, 음향적으로 알 수 없더라도 문맥으로 복원하면 된다고 생각하기 쉽습니다. 그 복원 태스크(제로 상응 분석, zero anaphora resolution)의 정밀도는 피어 리뷰(peer-reviewed) 연구에서 보고된 바 있습니다.

• 제로 상응 (문서 내): Recall 0.282 / Precision 0.448 / F1 0.346
• 제로 상응 전체: Recall 0.317 / Precision 0.411 / F1 0.358

F1 스코어로 0.35 전후입니다. 게다가 이것은 문어(쓰기 언어)를 대상으로 한 연구이며, 회의의 발언자 귀속을 직접 다룬 것이 아닙니다. 후처리로 보완한다는 설계는 현시점에서는 성립되지 않습니다.

여기까지 써두었습니다만, DER을 신경 쓰지 않아도 되는 방법이 하나 있습니다.

Zoom의 "참가자별로 별도의 오디오 파일을 녹음하기" 설정입니다.

• 설정명: Record a separate audio file for each participant
• 위치: Zoom 데스크톱 앱 → 프로필 이미지 → Settings → Recording
• 출력: 녹화 폴더 내의 Audio Record

폴더에 참가자별 음성 파일이 생성됩니다. 공식 설명은 "Each file name begins with the participant's name"입니다. 대응 플랜: 공식적으로 "

각 파일에는 한 사람의 음성만 들어있으므로, 화자 분리 (Speaker Diarization) 처리 자체가 불필요해집니다. 겹침(Overlap)도, 화자 수(Number of speakers)도, 마이크 거리(Microphone distance)도 상관없습니다. 파일명이 곧 발언자 이름입니다.

제약 사항이 하나 있습니다. 로컬 녹화에는 음성 텍스트 변환 (STT) 기능이 포함되지 않습니다 (Zoom의 전사 기능은 클라우드 녹화 측의 기능입니다). 참가자별 음성 파일을 추출하여 각각 개별적으로 전사(Transcription)하는 운영 방식이 됩니다. Whisper를 돌린다면, 오히려 이 형태가 더 다루기 수월합니다.

Teams와 Google Meet에 대해서는, 참가자별 별도 트랙 녹음 기능이 공식 문서에서 확인되지 않았습니다.

화자 분리 관련 내용은 「정확도 ○%」라는 숫자만 독자적으로 떠돌기 쉬운 영역입니다. 이 글에서 말하고 싶었던 점은 단 하나, 조건이 없는 숫자는 비교할 수 없다는 것이었습니다. Collar(경계 여유분)의 유무, 겹침(Overlap)을 채점하는지, SAD (Speech Activity Detection)가 주어지는지. 이 부분이 다르면 동일한 시스템이라도 다른 스코어를 출력합니다.

「누가 말했는가」에 대한 이야기는 여기까지입니다. 실제로 운용을 시작하면 그 전 단계에서 걸림돌을 만납니다. 애초에 글자가 맞지 않는다는 문제입니다.

여기에도 순위가 있으며, 회의 음성의 정확도를 망가뜨리는 요인은 거리와 Bluetooth의 조합이 1위, 발화의 겹침이 2위, 그리고 3위가 **침묵 (Silence)**입니다. 무음 구간이 길면 AI가 문장을 날조(Hallucination)한다는 현상이 피어 리뷰(Peer-reviewed)를 거친 연구에서 보고되었으며, 날조의 가장 큰 예측 인자는 「무발화 시간의 길이」였습니다. 일본어 회의는 고민하는 '간격(間)'이 많기 때문에 이 조건에 해당하기 쉽습니다.

해당 순위의 특정과 녹음 측의 대책, 2026년 8월 시점에서 사용할 수 있는 수단을 환경에 따라 하나로 좁히는 분기점, 검사용 프롬프트, 사외비(Confidential)를 외부 AI에 보내도 되는지에 대한 판단 기준과 주요 9개 서비스의 학습 이용 목록까지를 note에 정리해 두었습니다.

• 무료: AI 의사록의 「누가 말했는가」는 회의 시 3~4할 틀립니다 (이 글을 비엔지니어용으로 다시 쓴 것)

• 유료: AI 의사록의 정확도가 올라가지 않는 원인을 실측 데이터로 특정한다 | 녹음~공유 절차와 프롬프트 4종

• 일본어 다수 인원 회의를 대상으로, 조건이 명시된 공개 DER (Diarization Error Rate) 벤치마크

• 일본어의 맞장구(Aizuchi) 문화가 겹침 발화의 비율을 높이는지에 대한 정량적 검증

• 경칭(님, 과장, 부장 등)이 화자 식별에 미치는 영향을 다룬 피어 리뷰 연구 (원리적으로도 화자 분리는 음향 특징으로 판정하기 때문에 어휘는 직접 관여하지 않습니다)

• gpt-4o-transcribe-diarize의 일본어 성능에 관한 공식 수치

• Teams / Google Meet의 참가자별 트랙 녹음 가능 여부