AI 에이전트가 개방형 과학적 발견을 할 수 있을까? Station의 증거

초록: 최근 AI 시스템은 명확하게 정의된 지표(metrics)를 제공받았을 때 과학적 발견에서 빠른 발전을 이루었지만, 이들이 자율적으로 개방형 과학적 발견을 수행할 수 있는지는 여전히 불분명합니다. 우리는 여러 에이전트가 과학 생태계를 시뮬레이션하는 오픈 월드 환경인 Station에서 AI의 개방형 과제 처리 능력을 조사했습니다. 개방형 과제의 특수한 문제들을 다루기 위해, 우리는 Supervisor 메커니즘과 주기적인 Meta Reflection이라는 두 가지 메커니즘을 Station에 추가할 것을 제안합니다. 이는 중간 지표가 부족할 때에도 지속적인 탐색을 장려합니다. 우리는 ICLR에서 발표된 세 편의 최근 구두 논문으로부터 개방형 과제를 구성했습니다. 우리는 에이전트들에게 각 논문에서 연구된 주요 연구 질문을 제공하는 동시에, 해당 논문의 결과는 숨기고 웹 접근 기능은 비활성화했습니다. 그런 다음 원래 발견 사항들(개별 기준(criteria)으로 분할됨) 중 얼마나 많은 부분을 에이전트들이 재발견하는지 측정합니다. 우리는 Station이 평균적으로 62.7%의 기준을 재발견하며, 이는 Codex Multiagent-v2의 15.4% 및 AI Scientist-v2의 14.4–20.6%와 비교됩니다. 제거(Ablation) 분석과 행동 분석에 따르면, 두 메커니즘을 함께 추가하는 것이 연구 범위와 연속성을 향상시키는 것으로 나타났습니다. 우리는 또한 오라클 논문이 없는 두 가지 개방형 과제에서 Station을 평가했으며, 에이전트들이 만든 일부 발견이 지식 차단(knowledge cutoff) 날짜 이후 연구자들이 보고한 발견과 밀접하게 일치한다는 것을 발견했습니다. 종합적으로 볼 때, 이러한 결과들은 적절한 환경이 에이전트가 개방형 과학적 발견에서 의미 있는 진전을 자율적으로 이룰 수 있도록 할 수 있음을 시사합니다. /u/progenitor414 제출 [링크] [댓글]