VGGT는 자신이 모르는 것을 알고 있을까?

요약

VGGT와 같은 3D 재구성 모델은 예측 포즈의 불확실성을 보고하지 못하는 한계가 있습니다. 연구진은 HardMatch라는 어려운 벤치마크를 통해, VGGT의 고정된 특징(frozen features)에 선형 프로브를 적용하여 높은 정확도로 포즈 실패를 예측할 수 있음을 입증했습니다. 이는 모델이 스스로 보고하는 것보다 자신의 실패 사례에 대해 더 많은 지식을 가지고 있음을 시사합니다.

핵심 포인트

• VGGT는 카메라 포즈의 불확실성을 명시적으로 보고하지 못함.
• HardMatch 벤치마크에서 선형 프로브가 높은 정확도로 포즈 실패를 예측함.
• 이 지식은 두 뷰를 융합하는 중간 레이어에서 계산됨.
• 모델은 자신이 보고하는 것보다 자신의 한계에 대해 더 많이 알고 있음.