Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 기존의 자기회귀 디코더 방식 대신 이산 확산 언어 모델을 활용하여 오디오 네이티브 음성 인식(ASR) 시스템을 제안합니다. DiffusionGemma는 26B MoE 기반으로, 노이즈 제거 단계를 통해 전체 전사본을 병렬로 정제하며, 기존의 한계점을 극복하는 새로운 학습 방식을 제시했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기자동 음성 인식(Automatic speech recognition)은 한 번에 하나의 토큰을 출력하는 자기회귀 디코더(autoregressive decoders)가 주를 이루고 있습니다. 우리는 대신, 전체 전사본을 소수의 노이즈 제거 단계(denoising steps) 동안 병렬로 정제할 수 있는 이산 확산 언어 모델(discrete diffusion language model)이 음성을 전사하는 것이 가능한지 질문합니다. 우리는 DiffusionGemma에 대한 오디오 네이티브 인터페이스를 훈련시켰습니다. DiffusionGemma는 26B 혼합 전문가(mixture-of-experts) 모델로, 최근 확산 언어 모델에서 흔한 흡수 마스크 방식(absorbing-mask scheme) 대신 균일하고 무작위 토큰 이산 확산을 통해 텍스트를 생성합니다. 고정된 Whisper 인코더가 음향 특징(acoustic features)을 공급하며, 경량 프로젝터(lightweight projector)가 이를 모델 임베딩 공간으로 매핑하고, 저랭크 어댑터(low-rank adapters)는 고정된 백본이 새로운 모달리티에 주의를 기울일 수 있게 합니다. 약 42M 개의 파라미터를 훈련시켰으며, 이는 백본의 0.16퍼센트에 해당합니다. 우리는 자연적인 훈련 목적 함수가 오디오를 접지(ground)하는 데 실패한다는 것을 발견했습니다. 왜냐하면 그 기울기(gradient)가 프로젝터에 도달하기 위해서는 이미 그것을 무시한 어텐션(attention)을 통해서만 하기 때문입니다. 고정된 출력 헤드(frozen output head)를 통해 적용되는 연결주의 시간 분류 손실(connectionist temporal classification loss)이 이 교착 상태(deadlock)를 깨뜨립니다. 그 결과로 나온 모델은 LibriSpeech test-clean에서 6.6퍼센트의 단어 오류율(word error rate)을 달성하며, 발화 길이와 관계없이 대략 여덟 개의 병렬 단계에서 전사하고, 여섯 개 언어로 훈련된 단일 어댑터를 사용하는데, 이를 여기서는 영어, 힌디어, 만다린에 대해 평가합니다.