리서치 하네스(Research Harness)를 통한 AI 과학자의 연구 합성 및 검증 외부화

AI 시스템은 과학적 워크플로우를 점점 더 자동화할 수 있지만, 이전의 증거, 생성된 아이디어, 실험 및 최종 주장을 연결하는 추론은 종종 모델 추론(inference) 내부에 암묵적으로 남아 있습니다. 여기에서 우리는 연구 합성(research synthesis)과 실험적 검증(experimental validation)을 검사 가능하고 계약에 의해 관리되는 프로세스로 외부화하는 리서치 하네스(research harness)인 Xcientist를 소개합니다. Xcientist는 문헌 증거, 아이디어 상태, 구현 계획, 어블레이션 기록(ablation records) 및 수정 흔적(repair traces)을 지속적인 연구 아티팩트(research artifacts)로 구성하여, 생성된 메커니즘이 증거 기반을 잃지 않고 근거를 마련하고, 실행하고, 테스트하고, 수정될 수 있도록 합니다. 우리는 실행 가능한 아티팩트가 원래 주장된 메커니즘을 더 이상 지원하지 않는 자동화된 연구의 실패 모드로 '주장 드리프트(claim drift)'를 식별합니다. 학습이 필요 없는 메모리 시스템(training-free memory systems), 그래프 구조의 교통량 예측(graph-structured traffic forecasting), 다중 스케일 물리 정보 신경망(multi-scale physics-informed neural networks) 전반에 걸쳐, Xcientist는 문제 공식화부터 메커니즘 설계, 검증 및 제한된 수정에 이르기까지 추적 가능한 궤적을 보존합니다. 이러한 결과는 AI 과학자가 최종 아티팩트뿐만 아니라, 그들의 합성 및 검증 프로세스가 귀속 가능하고, 검사 가능하며, 과학적으로 책임질 수 있는지를 통해 평가되어야 함을 시사합니다.