멀티모달 거대 언어 모델 (Multimodal Large Language Models, MLLMs)의 급격한 발전은 1인칭 시점(egocentric) 비디오 이해에 대한 관심 증가로 이어졌습니다. 특히 MLLM이 미세한 손-물체 상호작용 (hand-object interactions)을 인식하고, 시간에 따른 물체 상태 변화를 추적하며, 역동적인 환경에서 조작 과정 (manipulative processes)에 대해 1인칭 시점에서 추론하는 능력에 주목하고 있습니다. 그러나 기존의 1인칭 비디오 벤치마크는 extbf{근거 기반의 근거(rationale) 평가가 제한적}이라는 문제를 안고 있습니다. 즉, 미세한 조작 중심 추론 (operation-centric reasoning)에 대한 지원이 부족하며, 모델의 근거가 명시적인 시공간적 증거 (spatio-temporal evidence)에 기반하고 있는지 검토하는 경우가 드뭅니다.

이러한 격차를 해소하기 위해, 우리는 명시적인 단계별 근거 (rationale) 주석이 포함된, 근거 기반 및 검증 가능한 조작 중심 추론을 위한 미세한 1인칭 벤치마크인 extbf{EgoCoT-Bench}를 소개합니다. 전체적으로 EgoCoT-Bench는 351개의 1인칭 비디오에 걸쳐 3,172개의 검증 가능한 QA 쌍을 포함하며, 이는 인지 및 회상 (perception and retrospection), 예측 (anticipation), 그리고 고수준 추론 (high-level reasoning)을 아우르는 총 12개의 하위 작업 그룹으로 나뉜 4개의 작업 그룹으로 구분됩니다. 이 벤치마크는 시공간 장면 그래프 (spatio-temporal scene graphs, STSG) 유도 생성 프레임워크를 통해 구축되었으며, 정확성, 1인칭 관련성 및 미세한 품질을 보장하기 위해 인간 주석가(human annotators)에 의해 추가로 정제되었습니다.

실험 결과는 1인칭 미세 추론 (egocentric fine-grained reasoning)이 여전히 어렵다는 것을 보여주며, 많은 멀티모달 모델이 정답은 맞히지만 그 근거는 정답과 일치하지 않는 설명을 생성한다는 점을 추가로 밝혀냈습니다. 우리는 EgoCoT-Bench가 1인칭 비디오 이해에서 근거 기반 및 검증 가능한 추론을 위한 유용한 테스트베드 역할을 할 수 있기를 바랍니다. 프로젝트 페이지 및 보충 자료는 다음에서 확인할 수 있습니다: https://dstardust.github.io/EgoCoT/.