COCOLogic-V2: 진정한 하드 네거티브(Hard-Negatives)를 통한 논리적 불일치 식별

개념 병목 모델 (Concept Bottleneck Models, CBMs) 및 프로그램 합성 (Program Synthesis) 방법과 같은 해석 가능한 모델들은 모델의 의사결정을 검증할 수 있게 해주지만, 이들의 평가는 일반적으로 단순한 작업에 국한되어 있어 실제 세계의 이미지에 대한 복잡한 추론은 여전히 미개척 분야로 남아 있습니다. 우리는 1차 논리 (First-order logic)의 광범위한 하위 집합을 다루는 실제 세계 이미지 기반의 시각적 귀납적 추론 (Visual inductive reasoning)을 위한 객체 중심 데이터셋인 COCOLogic-V2를 소개합니다. 샘플을 긍정 변형 (Positive variants), 경계 근접 (Near-boundary, NB), 그리고 경계 원격 (Far-from-boundary, FB) 네거티브로 분류함으로써, COCOLogic-V2는 모델의 책임성 (Accountability)에 대한 세밀한 진단을 가능하게 합니다. 우리의 평가 결과에 따르면, 모델들은 긍정 샘플과 FB 샘플은 잘 구분하는 경향이 있지만 NB 샘플에서는 실패하며, 지각적 노이즈 (Perceptual noise)와 규칙으로 유도된 거대한 탐색 공간 (Search spaces)은 퓨샷 (Few-shot) 설정에서 추가적인 어려움을 초래한다는 것을 보여줍니다. 이러한 결과들을 종합해 볼 때, 시각적 귀납적 추론은 여전히 해결해야 할 과제로 남아 있으며, COCOLogic-V2는 이 방향의 방법론을 발전시키기 위한 구체적인 토대를 제공합니다.