Spatial-Omni: FOA 인코딩을 통한 멀티모달 LLM의 공간 오디오 이해 통합

요약

Spatial-Omni는 기존 Omni LLM의 오디오 인코더를 수정하지 않고 FOA 인코딩을 통해 공간 오디오 이해 능력을 통합하는 경량화된 방법론을 제안합니다. 이를 위해 대규모 공간 오디오 데이터셋인 SO-Dataset과 성능 평가를 위한 SO-Bench를 구축하여 모델의 공간 추론 능력을 입증했습니다.

핵심 포인트

• FOA 인코딩을 통한 경량화된 공간 오디오 모달리티 주입
• 기존 오디오 인코더 수정 없이 공간 토큰 제공 가능
• 40만 개의 FOA 클립을 포함한 SO-Dataset 구축
• 16개 하위 작업을 포함한 공간 오디오 벤치마크 SO-Bench 제안
• 기존 LALMs 및 Omni LLM 대비 우수한 공간 추론 성능