관측 천문학 추론 작업에 대한 비전-언어 모델의 체계적 평가

요약

본 논문은 광학 이미징부터 분광학까지 다양한 천문 관측 모달리티를 포괄하는 4,100개 이상의 전문가 검증 사례를 포함하는 종합 벤치마크인 AstroVLBench를 제시합니다. 이 벤치마크를 통해 최첨단 비전-언어 모델(VLM)들을 평가한 결과, 모델의 성능이 특정 모달리티에 크게 의존하며, 단순히 시각적 특징을 인식하는 것을 넘어 물리적 지식에 기반할 때 가장 좋은 성능을 보였습니다. 특히, 추론 과정에서 명시적인 물리적 근거(grounding)가 부족하면 정확도가 높아도 과학적으로 신뢰하기 어렵다는 점을 입증했습니다.

핵심 포인트

• AstroVLBench는 광학 이미징, 전파 간섭계 등 5가지 천문 관측 모달리티를 아우르는 포괄적인 평가 기준을 제공한다.
• VLM의 성능은 특정 모달리티에 따라 편차가 크며, 모든 모델이 도메인 전문화 방법보다 낮은 성능을 보였다.
• 모델의 정확도를 높이기 위해서는 단순히 시각적 특징(phenomenological prompts)뿐만 아니라 물리적 지식에 기반한 프롬프트(physical prompts)가 더 효과적이다.
• 추론 과정에서 명시적인 물리적 근거(grounding)가 필수적이며, 이는 과학적 신뢰성을 확보하는 핵심 요소이다.