시각-언어 모델(VLMs)의 신뢰할 수 있는 추론 자동화를 위한 의사코드 가이드 구조적 추론

시각-언어 모델 (Vision-Language Models, VLMs)은 로봇 자동화를 위한 고차원 추론의 초석이 되고 있으며, 로봇이 자연어 명령을 분석하고 환경을 인지할 수 있도록 지원합니다. 그러나 모델의 환각 (Hallucinations) 취약성은 의사결정 과정에서 치명적인 실패를 초래하며, 물리적 배포 시 심각한 안전 및 신뢰성 위험을 야기합니다. 이러한 과제는 질문의 난이도와 양식 (Modality)이 매우 다양하여 견고하고 적응 가능한 추론 전략을 요구하는 실세계 작업의 개방형 특성으로 인해 더욱 악화됩니다. 이를 해결하기 위해, 우리는 VLMs가 유연하고 단계적인 추론을 수행할 수 있도록 구조화된 의사코드 (Pseudocode) 추론 경로를 적응적으로 선택하는 '의사코드 가이드 구조적 추론 (Pseudocode-guided Structured Reasoning)' 프레임워크인 PStar를 제안합니다. 우리는 먼저 일련의 추상적 추론 함수를 설계하고, 모듈식 추론 전략을 표현하기 위한 구조화된 의사코드 라이브러리를 구성합니다. 결정적으로, 모델이 질문의 복잡성을 평가하고 적절한 추론 전략을 적응적으로 선택할 수 있도록 하는 난이도 특징 벡터 (Difficulty Feature Vector, DFV)를 설계하여 견고성과 해석 가능성 (Interpretability)을 향상시켰습니다. 광범위한 실험을 통해 PStar는 환각 발생률을 크게 낮추었으며, POPE에서 87.1%, MMStar에서 68.0%라는 최고 수준 (State-of-the-art)의 점수를 기록하며 GPT-4V조차 능가함을 입증했습니다. 시각-언어 오류를 줄이는 검증된 메커니즘을 제공함으로써, PStar는 이러한 오류가 재앙적인 결과로 이어질 수 있는 실세계 자동화 시스템을 위해 더욱 신뢰할 수 있고 결정론적인 (Deterministic) VLMs를 배포하는 데 있어 중요한 단계를 제공합니다.