신경 오디오 코덱(Neural Audio Codecs)에서의 낮은 프레임 레이트 저하 현상 조사

요약

신경 오디오 코덱에서 낮은 프레임 레이트 사용 시 발생하는 성능 저하의 원인을 분석한 연구입니다. 기존에 추측된 음소 충돌이나 코드북 포화 대신, 최적화되지 않은 훈련 설정이 품질 저하의 근본 원인임을 밝혀냈습니다.

핵심 포인트

• 낮은 프레임 레이트에서의 품질 절벽 현상 재현
• 성능 저하의 원인은 음소 충돌이 아닌 훈련 설정 문제
• 고정된 클립 길이 사용 시 토큰 간 문맥 확보 부족 발생
• 훈련 방식 개선 시 1.6 Hz까지 성능 저하 완화 가능
• 추론 시간 효율성을 위한 낮은 프레임 레이트 활용 가능성 제시