Kraken: 저비트 VQ 및 이중 경로 소스 컨디셔닝을 통한 LLM 기반 음성-음성 번역
요약
본 논문은 저비트 VQ와 Autowave-X를 결합하여 음성 대규모 언어 모델(LLMs) 기반의 음성-음성 번역(S2ST) 모델인 Kraken을 제안합니다. 이 모델은 LLM이 고비트레이트 토큰 예측의 어려움을 극복하고, 학습 데이터 의존성을 완화하는 데 중점을 둡니다. Qwen3-8B를 기반으로 구축되었으며, 기존 S2ST 모델 대비 우수한 번역 품질과 화자/운율 전이 능력을 입증했습니다.
핵심 포인트
- 저비트 VQ와 Autowave-X 결합을 통한 S2ST 모델 Kraken 제안
- LLM의 고비트레이트 음성 토큰 예측 어려움 및 데이터 의존성 완화 시도
- Qwen3-8B 기반으로 15만 시간 다국어/멀티태스크 데이터로 학습
- SeamlessM4T-Large v2, Qwen2.5-Omni 대비 우수한 성능 입증
음성-음성 번역(S2ST)은 음성 대규모 언어 모델(LLMs)의 발전과 함께 크게 진전하여, 공동 최적화와 비언어적 정보 보존이라는 잠재력을 제공합니다. 하지만 이러한 모델들은 LLM에서 고비트레이트 음성 토큰을 예측하는 데 어려움을 겪고 있으며, 이상적으로 정렬된 화자 식별 및 운율(prosody)을 가진 S2ST 학습 데이터에 의존해야 하는 과제에 직면해 있습니다. 우리는 자기 지도 학습(SSL) 특징을 재구성하도록 훈련된 단일 레이어 벡터 양자화(vector quantization) 기반의 저비트레이트 토큰 사용을 제안합니다. 또한, 비언어적 전이를 개선하기 위해 소스 음성에 조건화되는 별도의 토큰-파형 디코더인 Autowave-X를 사용함으로써 학습 데이터 제약을 완화합니다. 이러한 기술들을 통합하여, 우리는 사전 훈련된 LLM에 음성 특징 입력과 저비트레이트 토큰 출력을 증강하고, 그 뒤에 Autowave-X 보코더가 연결된 S2ST 모델인 Kraken을 제안합니다. 우리는 Qwen3-8B를 기반으로 이 모델을 구축하고, 15만 시간의 다국어 및 멀티태스크 음성 데이터로 훈련했습니다. 우리의 모델이 SeamlessM4T-Large v2와 Qwen2.5-Omni보다 우수한 번역 품질과 향상된 화자 및 운율 전이 능력을 보여주었음을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기