V-ABS: 동적 시각 추론을 위한 액션-관찰자 주도 빔 서치

요약

V-ABS는 복잡한 다단계 시각 추론 과정에서 발생하는 '상상-행동-관찰자(IAO) 편향' 문제를 해결하기 위해 설계된 액션-관찰자 주도 빔 서치 프레임워크입니다. 이 프레임워크는 사유자-행위자-관찰자 반복을 통해 의도적인 추론을 가능하게 하며, 정책 사전 확률과 관찰 피드백 간의 신뢰도를 동적으로 균형 조정하는 엔트로피 기반 적응 가중치 알고리즘을 도입했습니다. 대규모 지도 미세 조정(SFT) 데이터셋으로 훈련된 V-ABS는 다양한 시각 추론 벤치마크에서 최첨단 성능을 입증하며, 기존 모델 대비 높은 개선율을 보여주었습니다.

핵심 포인트

• V-ABS는 복잡한 다단계 시각 추론의 핵심 문제인 IAO 편향(상상-행동-관찰자 불일치)을 해결합니다.
• 액션-관찰자 주도 빔 서치를 통해 사유자-행위자-관찰자 반복 구조를 구현하여 의도적인 추론 과정을 지원합니다.
• 엔트로피 기반 적응 가중치 알고리즘을 사용하여 정책 사전 확률과 관찰 피드백 간의 신뢰도를 동적으로 균형 있게 조정합니다.
• 80k개 이상의 대규모 지도 미세 조정(SFT) 데이터셋으로 훈련되어 다양한 시각 추론 벤치마크에서 높은 성능 향상을 달성했습니다.