SpeechLLM을 이용한 스트리밍 음성-텍스트 번역

요약

본 연구는 스트리밍 음성-텍스트 번역을 위한 새로운 LLM 기반 아키텍처를 제안합니다. 기존 시스템의 문제점인 느린 속도와 연쇄 오류 문제를 해결하기 위해, 이 모델은 토큰 생성 여부뿐만 아니라 충분한 오디오 입력 확인까지 학습합니다. 실험 결과, 이 시스템은 비스트리밍 방식에 근접한 높은 번역 품질을 유지하면서도 1~2초의 낮은 지연 시간을 달성했습니다.

핵심 포인트

• 기존 음성-텍스트 번역 시스템은 ASR과 기계 번역 모듈이 분리되어 있어 연쇄 오류가 발생할 수 있습니다.
• 제안된 SpeechLLM 아키텍처는 스트리밍 방식으로 작동하며, 토큰 생성에 필요한 오디오 입력 여부를 판단하는 기능을 학습합니다.
• 시스템은 자동 정렬(Automatic Alignments)을 사용하여 학습되며, 다양한 언어 쌍에서 성능이 검증되었습니다.
• 낮은 지연 시간(1~2초)과 높은 번역 품질을 동시에 달성하여 실제 애플리케이션에 적합합니다.