계층적 음향-의미 모델링: 전이중(Full-Duplex) SLM을 위한 모달리티 분리 및 의미 일관성

원문 발행 2026. 07. 08. 02:43원문 언어 영어AI 한국어 번역arXiv cs.CL (NLP) 원문 보기

요약

본 논문은 전이중(full-duplex) 음성 언어 모델(SLMs)의 핵심 과제인 모달리티 간섭 문제를 다룹니다. 연구진은 이 문제가 깊은 매개변수 공간 공유에서 발생하는 기울기 충돌 때문임을 밝혀냈습니다. 이에 따라, 모달리티 분리 및 의미 일관성을 유지하는 계층적 전이중 프레임워크 Lychee-FD를 제안합니다.

핵심 포인트

전이중 SLM의 성능 저하 원인은 '모달리티 간섭'에 기인함.
간섭은 음향/의미 모델링 사이의 '기울기 충돌'에서 비롯됨을 분석함.
Lychee-FD는 계층적 매개변수 분리로 모달리티를 분리하고 일관성을 유지함.
실험 결과, Spoken QA 및 FullDuplexBench 등 전이중 벤치마크에서 성능 향상을 입증함.

원활하고 고성능이며 네이티브한 지능형 전이중(full-duplex) 음성 언어 모델(SLMs) 개발은 음성 및 자연어 처리(NLP) 커뮤니티의 핵심 과제이자 오랜 목표로 남아 있습니다. 주목할 만한 발전에도 불구하고, 최근 시도는 심각한 모달리티 간섭(modality interference)에 의해 근본적으로 제약을 받고 있으며, 이는 상당한 지식 저하를 유발하고 의미적 무결성을 훼손하여 궁극적으로 전이중 SLM을 부자연스럽고 지능적이지 않게 만듭니다. 본 논문에서는 모델 최적화 역학(dynamics)에 대한 철저하고 세밀한 분석을 통해 이러한 성능 저하의 근본 원인을 밝혀냈으며, 모달리티 간섭이 두 모달리티가 깊은 매개변수 공간(deep parameter space)을 공유하도록 강제될 때 음향 모델링과 의미 모델링 사이에 내재된 기울기 충돌(gradient conflicts)에서 비롯됨을 밝힙니다. 이 핵심 통찰에 따라, 우리는 모달리티 간섭을 완화하기 위해 설계된 네이티브한 종단 간 전이중 프레임워크인 Lychee-FD를 소개합니다. 특히, 저희는 깊은 레이어에서 충돌하는 모달리티를 분리하고 전용 의미 정렬 채널(semantic alignment channel)을 통해 교차 모달리티 일관성(cross-modality coherence)을 유지하는 계층적 매개변수 분리 전략을 제안합니다. 여러 전이중 벤치마크에 대한 광범위한 실험 결과, 저희 방법론이 음성 지능(+7.4% Spoken QA)과 전이중 상호작용 유동성(+28.5% FullDuplexBench 1.5) 모두에서 상당한 개선을 이루어 최첨단(state of the art) 성능을 크게 향상시켰으며, 추론 효율성을 저해하지 않았음을 입증합니다. 저희가 아는 한, 본 연구는 두 가지 핵심 발전을 이룬 최초의 작업입니다: 1) 전이중 SLM에서 모달리티 간섭의 근본 원인을 밝히고 설명한 것, 그리고 2) 네이티브하고 고성능이며 지능적인 전이중 SLMs을 위한 우아한 계층적 모델과 실용적인 해결책을 설계한 것입니다.

AI 자동 생성 콘텐츠

원문 바로가기

계층적 음향-의미 모델링: 전이중(Full-Duplex) SLM을 위한 모달리티 분리 및 의미 일관성

요약

핵심 포인트

댓글