관측 천문학 추론 작업에 대한 비전-언어 모델의 체계적 평가

비전-언어 모델 (VLMs) 은 과학 데이터 해석을 위한 범용 도구로 점점 더 제안되고 있으나, 다양한 모달리티를 지닌 실제 천문 관측에서의 신뢰성은 아직 검증되지 않았다. 우리는 광학 이미징, 전파 간섭계, 다중 파장 광도법, 시간 영역 광곡선, 그리고 광학 분광학을 아우르는 5 가지 작업에 걸친 4,100 개 이상의 전문가 검증 사례를 포함하는 종합 벤치마크인 AstroVLBench 를 제시한다. 6 개의 최첨단 모델을 평가한 결과, 성능은 모달리티에 크게 의존함을 발견했다: 하나의 모델 (Gemini 3 Pro) 이 모든 작업에서 가장 일관되게 능력을 발휘하는 반면, 작업별 강점은 다양하며, 모든 모델이 도메인 전문화 방법보다 현저히 낮은 성능을 보였다. 기계적 제거 실험 (mechanistic ablations) 은 성능이 눈에 띄는 시각적 특징에 주의를 집중시키는 것뿐만 아니라, 이러한 특징들을 물리적 지식에 기반을 두는 데도 의존함을 밝혔다. 무엇을 찾아야 하는지 설명하는 현상론적 프롬프트 (phenomenological prompts) 는 모델의 초점을 선명하게 함으로써 정확도를 개선하지만, 왜 그러한 특징이 중요한지를 설명하는 물리적 프롬프트 (physical prompts) 가 전반적으로 더 나은 성능을 보이며 클래스별 편향을 줄이고 균일한 분류를 제공한다. 이러한 관점과 일관되게, 렌더링된 플롯 대신 직접적인 수치 테이블로 1 차원 측정값을 제시하면 최대 13 퍼센트 포인트의 개선을 가져온다. 추론 품질 분석은 명시적인 물리적 기반 (grounding) 이 없으면 모델이 현상론적으로 타당한 단서를 통해 올바른 예측에 도달할 수 있지만, 물리적으로 부정확한 정황을 제공함으로써 정확도만으로는 신뢰할 수 있는 과학적 배포가 부족함을 입증한다. 이러한 발견들은 관측 천문학 분야에서 VLM 에 대한 최초의 체계적이고 다중 모달리티 기준선을 제공하며, 현재 모델이 실패하는 구체적인 표현 (representation), 기반화 (grounding), 추론 병목 현상을 규명한다.