번역 강화 음성 인코더 사전 학습이 Speech LLM에 영향을 미치는가?

요약

Speech LLM 구축 시 발생하는 음성 인코더와 LLM 간의 구조적 불일치를 해결하기 위한 연구입니다. 음성 번역 목적 함수를 사전 학습에 통합하여 언어 불가지론적 표현을 학습함으로써 교차 모달 통합 성능을 개선합니다.

핵심 포인트

• 음성 인코더와 LLM 사이의 구조적 불일치 문제 제기
• 음성 번역을 통한 언어 불가지론적 표현 학습 제안
• 번역 강화 사전 학습이 교차 모달 통합을 개선함을 입증
• 다운스트림 Speech LLM 작업에서 우수한 성능 확인