보존하며 확장하기: 다국어 LLM 기반 ASR을 위한 소스 인식 적응 및 모델 병합

요약

본 기사는 다국어 ASR 시스템을 확장할 때 기존 소스 언어 성능을 유지하는 문제를 다룹니다. 학습 가능한 커넥터 기반 Speech LLM에서, 소스 보존과 타겟 적응 간의 균형을 맞추기 위한 다양한 모델 병합 및 업데이트 전략을 평가했습니다. 연구 결과는 특정 병합 기법이 소스 망각을 최소화하며 효과적인 확장을 가능하게 함을 보여줍니다.

핵심 포인트

• 다국어 ASR 확장 시 소스 언어의 성능 보존(Source Retention)이 핵심 과제입니다.
• 커넥터 기반 Speech LLM 아키텍처를 통해 적응 문제를 해결합니다.
• 단일 타겟 확장에서는 SSU-Wanda+TIES가 우수한 소스 보존 트레이드오프를 제공합니다.
• 다중 타겟 환경에서는 업데이트 병합(Update Merging)이 안정적인 소스 유지를 가능하게 합니다.