Mixture of Experts와 Dynamic Downsampling을 통한 다국어 LLM 기반 ASR 성능 향상

요약

본 연구는 다국어 일반화와 모달리티 정렬을 목표로 하는 프로젝터 기반 LLM-ASR 프레임워크를 제안합니다. MoE 아키텍처와 CIF 메커니즘을 결합하여 기존 베이스라인 모델보다 향상된 성능을 입증했습니다.

핵심 포인트

• MoE 아키텍처를 통한 교차 언어 적응성 향상
• CIF 메커니즘을 활용한 동적 다운샘플링 및 모달리티 정렬
• 기존 베이스라인 모델을 능가하는 ASR 성능 달성
• 강력하고 일반화 가능한 LLM 기반 ASR 시스템 구축