결합 문제 (Binding Problem)의 공식화

세상에 대한 표현 (Representations)은 논쟁의 여지는 있으나, 특징 (features)에 대한 정보 (예: 무언가가 파란색임, 무언가가 원형임)뿐만 아니라 어떤 특징들이 동일한 객체의 일부인지에 대한 정보 (예: 그 원형이 파란색임)를 포함하며, 이를 결합 정보 (binding information)라고 부릅니다. 여러 객체가 있는 장면을 이해하는 능력을 갖춘 모든 시스템은 결합 문제 (binding problem)를 해결할 수 있어야 합니다. 즉, 어떤 특징들이 서로 연결되어 있는지 알아야 합니다. 그러나 Vision Transformers (ViTs)가 어떤 패치 (patches)들이 서로 연결되어 있는지 알고 있다는 연구 결과에도 불구하고, 현재의 딥러닝 (deep learning) 모델들이 특징 (features)에 대한 결합 정보 (binding information)를 나타내도록 학습하는지는 알려져 있지 않습니다. 결국 특징을 잘못된 객체에 할당하는 것은, 특히 객체들이 특징을 공유하는 장면에서 ViT 기반 아키텍처 (architectures)의 흔한 실패 사례이기에 결합 정보가 많지 않다고 믿을 수도 있습니다. 본 연구에서는 정보 이론적 접근 방식 (information-theoretic approach)을 통해 결합 문제 (binding problem)를 공식화하고, 모델 표현 (model representations) 내의 결합 정보를 측정하기 위한 프로빙 (probing) 방법을 소개합니다. 우리는 ViTs를 대상으로 실험을 수행하여, 이미지 요약 토큰 ([CLS]) 또는 공간 토큰 (spatial tokens)과 같은 아키텍처의 다양한 구성 요소로부터 결합을 측정합니다. 특징 공유 (feature sharing), 폐쇄 (occlusion), 자연적 특징 (natural features) 등 다양한 결합 과제를 가진 데이터셋을 사용하면서 여러 사전 학습된 (pre-trained) ViTs의 성능을 비교합니다. 전반적으로, 우리의 연구는 결합 (binding)이 강력한 시각적 인식 (visual recognition)과 추론 (reasoning)을 위한 핵심 요소임을 입증합니다.