ENSO를 위한 과학 시험(SciExam for ENSO): AI 에이전트가 기후 모델을 구축할 수 있을까?

언어 모델 에이전트는 점점 더 개방형 과학 연구를 수행하도록 요청받고 있지만, 그 결과는 보통 알려진 정답, 루브릭 또는 언어 모델 리뷰어에 의해 평가되는데, 이 중 어느 것도 새로운 과학적 모델이 유효한지 알려줄 수 없습니다. 엘니뇨-남방 진동(El Nino-Southern Oscillation, ENSO)을 위한 AI 과학 시험(SciExam for ENSO)은 에이전트가 실제 관측 자료로부터 계절 간 기후 변동성의 지배적인 양상인 ENSO의 저차 스토캐스틱 모델을 구축하는 벤치마크입니다. 6시간이라는 시간 제약 내에서, 에이전트는 관측 자료를 처리하고 자체 진단(diagnostics)을 작성한 후 이를 고정시키고, 오직 이 진단만을 피드백으로 사용하여 모델을 개발합니다. 숨겨진 채점관들은 그 모델이 ENSO의 통계를 재현하는지, 관찰되지 않은 변수를 복구하는지, 그리고 별도로 보류된 연도를 예측하는지를 테스트하고 출판된 모델과 동일한 방식으로 점수를 매깁니다. 12개 에이전트 시스템을 비교했을 때, 그중 6개가 주로 더 나은 재구성 및 예측을 통해 출판된 모델보다 높은 점수를 얻는 모델을 생성했습니다. 이 강력한 모델들의 단순화된 형태들은 ENSO의 온난-냉각 비대칭성에 대한 두 가지 경쟁적인 설명 중 각각 하나와 호환되는데, 이는 해당 과제가 언급하지 않은 개방적인 논쟁입니다. 다양한 정보 하에서 최고 시스템에 대한 통제된 실행은 그 점수가 날짜가 지난 관측 기록을 기억하는 것에서 오는 것이 아니며, 에이전트가 받는 정보가 모델 구축 방식에 영향을 미친다는 것을 시사합니다. 따라서 SciExam for ENSO는 정답이 알려지지 않은 에이전트 연구를 평가할 수 있으며, 그 결과는 에이전트들이 이미 과학자들이 여전히 논쟁하는 질문들과 관련되는 구조를 가진 경쟁력 있는 모델을 구축할 수 있음을 시사합니다.