당신은 나의 언어를 말하고 있나요? 멀티모달 LLM에서의 음성 언어 준수(Spoken Language Adherence)에 대하여

대규모 언어 모델 (LLM) 기반의 자동 음성 인식 (ASR)은 원활한 다국어 사용을 가능하게 하지만, 모델이 출력 언어를 잘못 식별하는 경우가 빈번하여 전사 충실도 (transcription fidelity)와 다운스트림 애플리케이션의 품질을 저해하곤 합니다. 유연성과 코드 스위칭 (code-switching) 능력을 보존하기 위해, 우리는 출력을 엄격하게 제한하지 않으면서 잠재적인 음성 언어를 암시하는 소프트 프롬프팅 (soft prompting) 접근 방식을 제안합니다. 우리는 이 문제를 언어 준수 (language adherence)의 결여로 공식적으로 정의하고, 위반 사항을 정량화하기 위한 새로운 지표를 도입하며, 세 가지 완화 전략을 평가합니다: (1) 불확실성 상황에서 강력한 가이드를 제공하는 제로샷 프롬프팅 (zero-shot prompting), (2) 프롬프트 준수 능력을 향상시키기 위한 지도 미세 조정 (SFT), (3) 디코딩 과정에서 준수를 강제하기 위한 사고 사슬 (CoT) 추론. 우리는 여러 언어에 걸쳐 이러한 방법들을 비교 분석하여, 전체적인 ASR 성능을 유지하면서 언어 위반을 줄이는 데 있어 각 방법의 효과를 평가합니다. 마지막으로, 다양한 컴퓨팅 제약 조건 하에서 전략 선택을 돕기 위한 트레이드오프 (trade-offs)를 논의합니다.