우리는 SceneBind를 발표합니다. 이는 비전(vision), 오디오(audio), 그리고 언어(language) 전반에 걸쳐 공동적인 의미론적(semantic) 이해와 3D 공간적 이해를 갖춘 현실 장면의 범모달 표현입니다. 기존의 범모달 인코더들은 개체 수준의 의미론(instance-level semantics, 즉 무엇이 존재하는지)에는 뛰어나지만, 명시적인 공간 구조(즉 어디에 있는지)가 부족한 경우가 많습니다. SceneBind는 각 장면을 의미론적-공간적 엔티티로 표현하여 이 격차를 해소하며, 전역 의미 임베딩(global semantic embedding)과 객체 중심의 의미론적-공간적 슬롯(object-centric semantic-spatial slots)을 결합합니다. 이러한 표현은 객체 수준의 의미론, 공간 속성, 그리고 불확실성을 명시적으로 포착합니다. 나아가 우리는 전역 장면 유사도와 객체 정렬을 통합하는 의미론적-공간적 매칭 방식인 SceneBind Matching을 제안하며, 이는 크로스모달(cross-modal) 장면 검색과 객체 접지(object grounding)를 지원합니다. SceneBind를 훈련하고 평가하기 위해, 우리는 구조화된 의미론 및 공간 주석이 포함된 새로운 실제 세계의 양이도 오디오-비주얼 데이터셋을 구축했으며, 모달리티 전반에 걸쳐 의미론적 및 공간적 신호를 정렬하는 훈련 프로토콜을 제안합니다. SceneBind는 대규모 사전 학습된 의미론 인코더와 호환되며, 단지 몇 개의 추가 토큰만으로 가벼운 공간 모델링을 추가할 수 있습니다. 이는 최첨단(state-of-the-art) 장면 및 공간 검색 성능을 달성하는 동시에, 오디오-비주얼 위치 파악과 같은 다운스트림 작업에 강력한 제로샷 전이(zero-shot transfer)를 가능하게 합니다.