자동 음성 인식(Automatic speech recognition)은 한 번에 하나의 토큰을 출력하는 자기회귀 디코더(autoregressive decoders)가 주를 이루고 있습니다. 우리는 대신, 전체 전사본을 소수의 노이즈 제거 단계(denoising steps) 동안 병렬로 정제할 수 있는 이산 확산 언어 모델(discrete diffusion language model)이 음성을 전사하는 것이 가능한지 질문합니다. 우리는 DiffusionGemma에 대한 오디오 네이티브 인터페이스를 훈련시켰습니다. DiffusionGemma는 26B 혼합 전문가(mixture-of-experts) 모델로, 최근 확산 언어 모델에서 흔한 흡수 마스크 방식(absorbing-mask scheme) 대신 균일하고 무작위 토큰 이산 확산을 통해 텍스트를 생성합니다. 고정된 Whisper 인코더가 음향 특징(acoustic features)을 공급하며, 경량 프로젝터(lightweight projector)가 이를 모델 임베딩 공간으로 매핑하고, 저랭크 어댑터(low-rank adapters)는 고정된 백본이 새로운 모달리티에 주의를 기울일 수 있게 합니다. 약 42M 개의 파라미터를 훈련시켰으며, 이는 백본의 0.16퍼센트에 해당합니다. 우리는 자연적인 훈련 목적 함수가 오디오를 접지(ground)하는 데 실패한다는 것을 발견했습니다. 왜냐하면 그 기울기(gradient)가 프로젝터에 도달하기 위해서는 이미 그것을 무시한 어텐션(attention)을 통해서만 하기 때문입니다. 고정된 출력 헤드(frozen output head)를 통해 적용되는 연결주의 시간 분류 손실(connectionist temporal classification loss)이 이 교착 상태(deadlock)를 깨뜨립니다. 그 결과로 나온 모델은 LibriSpeech test-clean에서 6.6퍼센트의 단어 오류율(word error rate)을 달성하며, 발화 길이와 관계없이 대략 여덟 개의 병렬 단계에서 전사하고, 여섯 개 언어로 훈련된 단일 어댑터를 사용하는데, 이를 여기서는 영어, 힌디어, 만다린에 대해 평가합니다.