ParaBridge: 음성 언어 모델(Speech Language Models)에서 준언어적 지각과 대화 행동 간의 간극 메우기

요약

ParaBridge는 음성 언어 모델(SLM)이 목소리 톤 등 준언어적 단서를 대화에 반영하도록 돕는 새로운 연구입니다. 온-정책 자기 증류(on-policy self-distillation)를 통해 모델이 별도의 지시 없이도 비어휘적 단서를 이해하고 적절한 대화 행동을 보이도록 학습시킵니다.

핵심 포인트

• 준언어적 지시 스캐폴드를 활용한 지각-행동 간극 해소
• 온-정책 자기 증류를 통한 안정적인 모델 행동 전환
• 외부 라벨 없이도 비어휘적 단서의 영향력 학습 가능
• Qwen3-Omni-thinking 기반 VoxSafeBench 성능 대폭 향상
• 일반적인 추론 능력 보존 및 미학습 단서에 대한 일반화