Kraken: 저비트 VQ 및 이중 경로 소스 컨디셔닝을 통한 LLM 기반 음성-음성 번역

요약

본 논문은 저비트 VQ와 Autowave-X를 결합하여 음성 대규모 언어 모델(LLMs) 기반의 음성-음성 번역(S2ST) 모델인 Kraken을 제안합니다. 이 모델은 LLM이 고비트레이트 토큰 예측의 어려움을 극복하고, 학습 데이터 의존성을 완화하는 데 중점을 둡니다. Qwen3-8B를 기반으로 구축되었으며, 기존 S2ST 모델 대비 우수한 번역 품질과 화자/운율 전이 능력을 입증했습니다.

핵심 포인트

• 저비트 VQ와 Autowave-X 결합을 통한 S2ST 모델 Kraken 제안
• LLM의 고비트레이트 음성 토큰 예측 어려움 및 데이터 의존성 완화 시도
• Qwen3-8B 기반으로 15만 시간 다국어/멀티태스크 데이터로 학습
• SeamlessM4T-Large v2, Qwen2.5-Omni 대비 우수한 성능 입증