Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
SceneBind는 비전, 오디오, 언어의 세 가지 모달리티에 걸쳐 의미론적 이해와 3D 공간적 이해를 결합한 범모달 표현을 제시합니다. 이는 기존 모델이 부족했던 명시적인 공간 구조를 포착하여 객체 수준의 의미론과 공간 속성을 통합했습니다. 이를 통해 크로스모달 장면 검색 및 객체 접지 성능을 향상시키는 새로운 매칭 방식도 제안되었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기우리는 SceneBind를 발표합니다. 이는 비전(vision), 오디오(audio), 그리고 언어(language) 전반에 걸쳐 공동적인 의미론적(semantic) 이해와 3D 공간적 이해를 갖춘 현실 장면의 범모달 표현입니다. 기존의 범모달 인코더들은 개체 수준의 의미론(instance-level semantics, 즉 무엇이 존재하는지)에는 뛰어나지만, 명시적인 공간 구조(즉 어디에 있는지)가 부족한 경우가 많습니다. SceneBind는 각 장면을 의미론적-공간적 엔티티로 표현하여 이 격차를 해소하며, 전역 의미 임베딩(global semantic embedding)과 객체 중심의 의미론적-공간적 슬롯(object-centric semantic-spatial slots)을 결합합니다. 이러한 표현은 객체 수준의 의미론, 공간 속성, 그리고 불확실성을 명시적으로 포착합니다. 나아가 우리는 전역 장면 유사도와 객체 정렬을 통합하는 의미론적-공간적 매칭 방식인 SceneBind Matching을 제안하며, 이는 크로스모달(cross-modal) 장면 검색과 객체 접지(object grounding)를 지원합니다. SceneBind를 훈련하고 평가하기 위해, 우리는 구조화된 의미론 및 공간 주석이 포함된 새로운 실제 세계의 양이도 오디오-비주얼 데이터셋을 구축했으며, 모달리티 전반에 걸쳐 의미론적 및 공간적 신호를 정렬하는 훈련 프로토콜을 제안합니다. SceneBind는 대규모 사전 학습된 의미론 인코더와 호환되며, 단지 몇 개의 추가 토큰만으로 가벼운 공간 모델링을 추가할 수 있습니다. 이는 최첨단(state-of-the-art) 장면 및 공간 검색 성능을 달성하는 동시에, 오디오-비주얼 위치 파악과 같은 다운스트림 작업에 강력한 제로샷 전이(zero-shot transfer)를 가능하게 합니다.