Chain-of-Procedure: 절차적 QA를 위한 계층적 시각-언어 추론

요약

본 논문은 복잡한 절차의 중간 이미지를 기반으로 다음 행동 단계를 추론하는 시각적 절차 질의응답(VP-QA) 과제를 다룹니다. 이를 위해 새로운 멀티모달 벤치마크인 ProcedureVQA를 제안하고, 현재 VLM이 가진 교차 모달 검색 및 단계 분해의 한계를 분석했습니다. 이 문제를 해결하기 위해 시각적 단서 기반 검색, 의미론적 분해, 다음 단계 생성을 결합한 계층적 추론 프레임워크인 Chain-of-Procedure (CoP)를 제시하고 그 성능을 입증했습니다.

핵심 포인트

• 시각적 절차 질의응답(VP-QA)은 복잡한 절차의 중간 이미지를 이용해 다음 행동 단계를 추론하는 실용적인 과제이다.
• 새로운 벤치마크인 ProcedureVQA를 통해 VLM의 시각적 절차 추론 능력을 체계적으로 평가할 수 있게 되었다.
• 기존 VLM은 시각적 상태에 대한 구조화된 절차 검색과 이미지 시퀀스 단계 분해 간의 불일치를 보이는 한계를 가진다.
• 제안된 Chain-of-Procedure (CoP)는 계층적 추론 프레임워크로, 시각적 단서 기반 검색, 의미론적 분해, 다음 단계 생성을 순차적으로 수행하여 성능을 향상시킨다.