NaturalFlow: 동시 음성-음성 번역(Simultaneous Speech-to-Speech Translation)에서 자연스러운 음성

원문 발행 2026. 06. 11. 18:49원문 언어 영어AI 한국어 번역arXiv cs.CL (NLP) 원문 보기

요약

동시 음성-음성 번역에서 발생하는 끊김 현상을 해결하기 위해 유창성 인식 최적화 프레임워크인 NaturalFlow를 제안합니다. 모델 내부 신호를 활용해 청크 간 침묵을 최소화함으로써 낮은 지연 시간과 자연스러운 음성 흐름을 동시에 달성합니다.

핵심 포인트

동시 번역의 낮은 지연 시간과 연속 번역의 자연스러운 흐름 사이의 최적점 탐색
언어적 다양성 및 음성 지속 시간의 시간적 가변성을 활용한 프레임워크 설계
청크 간 침묵을 최소화하여 인지 부하를 줄이고 자연스러운 음향 흐름 제공
지연 시간과 번역 품질을 유지하며 자연스러운 음성 생성 성능 입증

동시 음성-음성 번역 (Simultaneous speech-to-speech translation)은 지연 시간 (latency)을 최소화하여 실시간에 가까운 통신을 가능하게 하는 것을 목표로 하며, 연속적 번역 (consecutive translation)의 높은 지연 시간에 대한 매력적인 실시간 대안을 제공합니다. 그러나 낮은 지연 시간을 과도하게 추구하면 종종 파편화된 청크 단위 (chunk-wise)의 음성이 발생하는 결과로 이어집니다. 결과적으로 청취자는 빈번한 일시정지로 인해 끊기는 부자연스러운 음향 흐름 (acoustic flow)에 노출되며, 이는 인지 부하 (cognitive load)를 증가시킬 수 있습니다. 이러한 격차를 해소하기 위해, 우리는 동시 번역의 낮은 지연 시간 이점과 연속적 번역의 자연스러운 흐름 사이의 최적의 지점 (sweet spot)을 찾도록 설계된 유창성 인식 최적화 프레임워크 (fluency-aware optimization framework)를 소개합니다. 우리의 프레임워크는 언어적 다양성 (linguistic diversity) 및 음성 지속 시간 (speech durations)에서 유도된 시간적 가변성 (temporal variability)을 포함한 모델 내부 신호 (model-internal signals)를 활용하여 청크 간 침묵 (inter-chunk silences)을 최소화합니다. 단문 및 장문 벤치마크에 대한 실험 결과, 우리의 프레임워크는 경쟁력 있는 지연 시간과 번역 품질을 유지하면서도 자연스러운 음성 흐름을 생성함을 보여줍니다.

AI 자동 생성 콘텐츠

원문 바로가기

NaturalFlow: 동시 음성-음성 번역(Simultaneous Speech-to-Speech Translation)에서 자연스러운 음성

요약

핵심 포인트

댓글