EgoCoT-Bench: MLLM을 위한 근거 기반 및 검증 가능한 조작 중심 사고 사슬 (Chain of Thought) 추론 벤치마킹

요약

EgoCoT-Bench는 MLLM의 1인칭 시점 비디오 이해 능력을 평가하기 위해 설계된 새로운 벤치마크입니다. 기존 벤치마크의 한계인 근거 기반 평가 부족을 해결하기 위해, 명시적인 단계별 근거(rationale)와 시공간적 증거를 포함한 검증 가능한 조작 중심 추론 데이터를 제공합니다. 실험 결과, 많은 모델이 정답은 맞히더라도 그 과정에 대한 근거 설명은 부정확하다는 점이 밝혀졌습니다.

핵심 포인트

• 1인칭 시점(egocentric) 비디오에서의 미세한 손-물체 상호작용 및 조작 과정 추론 능력 평가에 특화됨
• 351개의 비디오와 3,172개의 검증 가능한 QA 쌍을 포함하며, 12개의 하위 작업 그룹으로 구성됨
• 시공간 장면 그래프(STSG) 유도 생성 프레임워크와 인간 주석가의 정제를 통해 데이터 품질 확보
• 모델이 정답을 맞히더라도 논리적 근거(rationale)가 일치하지 않는 현상을 식별할 수 있는 테스트베드 제공