REDDIT: 망각 없이 재생 기반 분포 편집을 통해 ASR의 모델 생성 타임스탬프 드리프트 교정하기
요약
자기회귀 ASR 시스템에서 비음성 구간 발생 시 타임스탬프가 어긋나는 드리프트 현상을 해결하기 위한 REDDIT 프레임워크를 제안합니다. 재생 기반 분포 편집을 통해 기존 성능 저하(망각) 없이 타임스탬프 정확도를 획기적으로 개선했습니다.
핵심 포인트
- 비음성 구간에서 발생하는 ASR 타임스탬프 드리프트 문제 규명
- 파괴적 망각을 방지하는 2단계 사후 학습 프레임워크 REDDIT 제안
- 인간의 주석 없이도 교정 감독 데이터를 구축하는 방법론 제시
- Whisper-tiny 모델에서 long-gap mIoU를 38.7%에서 95.0%로 향상
현대의 자기회귀 (Autoregressive) ASR 시스템은 디코딩된 토큰으로서 타임스탬프 (Timestamp)를 출력할 수 있으며, 이를 통해 프레임 수준의 정렬기 (Frame-level aligner)나 추론 시점의 후처리 없이도 타임스탬프가 포함된 전사 (Transcription)를 가능하게 합니다. 우리는 이러한 생성된 타임스탬프가 긴 비음성 구간 (Non-speech span) 동안 드리프트 (Drift)될 수 있음을 보여줍니다. 즉, 전사 내용은 그럴듯하게 유지될 수 있지만, 디코딩된 시간축이 오디오로부터 벗어나게 됩니다. 우리는 직접 구축한 gap 및 long-gap 벤치마크를 통해 15개의 평가 대상 타임스탬프 생성 ASR 및 오디오-언어 (Audio-language) 시스템에서 이러한 비음성 유발 타임스탬프 드리프트를 연구합니다. 단순한 타임스탬프 교정 미세 조정 (Fine-tuning)은 정렬 (Alignment) 성능을 개선하지만, 비대상 ASR 동작을 심각하게 저하시켜 망각 (Forgetting) 문제를 노출할 수 있습니다. 우리는 이러한 파괴적 망각 (Catastrophic forgetting)을 피하면서 타임스탬프를 교정하는 경량 2단계 사후 학습 (Post-training) 프레임워크인 REDDIT (REplay-based Distribution eDITing)을 제안합니다. 이 프레임워크는 먼저 모델 자체의 재생된 디코더 컨텍스트 (Decoder context) 하에서 타임스탬프 타겟을 편집하는 동시에, 타임스탬프가 아닌 토큰들에 대해서는 동결된 베이스 분포 (Frozen base distribution)를 일치시키고, 그 다음 짧은 편집된 접두사 (Edited-prefix) 정제 단계를 적용합니다. 이 프레임워크에서 우리는 VAD로 트리밍된 음성 구간과 삽입된 비음성 간격(Non-speech gaps) 및 알려진 연결 오프셋 (Concatenation offsets)을 결합함으로써, 인간의 전사 데이터나 인간의 타임스탬프 주석 없이 교정 감독 (Correction supervision)을 구축합니다. Whisper-tiny에서 34.9시간의 타겟 교정 오디오를 사용하고 모델 파라미터의 1.6%만을 업데이트했을 때, long-gap mIoU를 38.7%에서 95.0%로 높였으며, 혼합 간격 도메인 외 AAS (Mixed-gap out-of-domain AAS)를 2752 ms에서 223 ms로 줄이는 동시에 CV-en MER을 41.3%로 유지했습니다 (일반적인 SFT 디코더 튜닝의 524.2% 대비).
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기