인공지능을 활용한 과학적 진보의 예측

인공지능 (AI)은 과학적 발견에 점점 더 깊숙이 자리 잡고 있지만, AI가 과학적 진보를 예측할 수 있는지 여부는 여전히 불분명합니다. 이 문제를 연구하기 위해, 우리는 통제된 지식 제약 조건 하에서 과학적 진보를 예측하기 위한 시간적 근거를 갖춘 평가 프레임워크를 도입합니다. 우리는 타당성 평가 (feasibility assessment), 기계적 추론 (mechanistic reasoning), 생성적 솔루션 설계 (generative solution design), 그리고 시간적 예측 (temporal prediction)을 통해 AI 시스템의 과학적 예측 능력을 평가하는 다학제적 및 이벤트 수준의 벤치마크인 CUSP (Cutoff-conditioned Unseen Scientific Progress)를 제시합니다. 4,760개의 과학적 이벤트를 통해, 우리는 현재의 최첨단 모델 (frontier models)에서 체계적이고 도메인 의존적인 한계를 관찰합니다. 모델들이 경쟁 후보군 중에서 그럴듯한 연구 방향을 식별할 수는 있지만, 과학적 발전이 실제로 실현될지 여부를 신뢰성 있게 예측하는 데는 실패하며, 그것이 언제 발생할지를 체계적으로 잘못 추정합니다. 성능은 도메인 전반에 걸쳐 매우 이질적이며, AI의 발전 시점은 생물학, 화학, 물리학의 발전보다 더 예측 가능합니다. 성능은 이벤트가 학습 차단 시점 (training cutoff) 이전 또는 이후에 발생하는지 여부에 대체로 무관하며, 이는 이러한 한계가 학습 데이터 내의 지식 노출만으로는 설명될 수 없음을 시사합니다. 통제된 정보 접근 하에서, 추가적인 차단 시점 이전 (pre-cutoff) 지식은 성능을 향상시키지만, 전체 정보 설정 (full-information settings)과의 격차를 좁히지는 못하며, 이러한 격차는 인용 횟수가 높은 발전에서 더욱 두드러집니다. 또한 모델은 체계적인 과잉 확신 (overconfidence)과 강한 응답 편향 (response biases)을 보이며, 이는 신뢰할 수 없는 불확실성 추정 (uncertainty estimation)을 나타냅니다. 종합적으로 볼 때, 현재의 AI 시스템은 과학적 진보를 위한 예측 도구로서 미흡합니다. 사전 지식에 대한 접근이 신뢰할 수 있는 예측으로 이어지지는 않으며, 성능은 미래 지향적 예측보다는 이벤트 발생 이후의 정보로부터 더 많은 이득을 얻습니다.