신경 오디오 코덱(Neural Audio Codecs)에서의 낮은 프레임 레이트 저하 현상 조사

신경 오디오 코덱(Neural Audio Codecs)에서의 낮은 프레임 레이트(Low frame rates)는 생성 비용이 시퀀스 길이(sequence length)에 따라 선형적으로 증가하는 자기회귀(autoregressive) 음성 합성 분야에서 매우 매력적입니다. 최근 연구들은 코덱이 12.5 Hz 이하에서도 작동할 수 있음을 보여주었으나, 낮은 프레임 레이트로 인한 성능 저하의 근저에 있는 메커니즘은 여전히 충분히 이해되지 않은 상태입니다. 본 연구에서는 통제된 프레임 레이트 제거 실험(frame rate ablation)을 통해 이러한 메커니즘을 조사합니다. 우리는 이전 연구들에서 보고된 6.25 Hz에서의 품질 절벽(quality cliff) 현상을 재현하였으며, 이에 대한 후보 설명인 음소 충돌(phonemic collisions)과 코드북 포화(codebook saturation)를 평가했으나, 두 가지 모두 근본적인 장벽이라는 증거는 나타나지 않았습니다. 대신, 이 절벽은 최적화되지 않은 훈련 설정(suboptimal training configuration)에 의해 발생합니다. 훈련 중 고정된 클립 길이(fixed clip duration)를 사용하는 것은 낮은 프레임 레이트에서 너무 적은 토큰을 생성하여, 디코더(decoder)가 토큰 간 문맥(inter-token context)을 충분히 확보하지 못하게 만듭니다. 이를 수정하면, 단어 오류율(WER)은 음소 부하(phonemic load)에 따라 3.1 Hz 및 1.6 Hz까지 부드럽게 저하되며, 이는 낮은 프레임 레이트 코덱의 추론 시간 효율성(inference-time efficiency) 이득이 이전에 가정했던 것보다 더 쉽게 확보될 수 있음을 시사합니다.