BayesEvolve: 자율적 과학적 발견을 위한 명시적 신념 상태 (Explicit Belief States)

자율적 과학적 발견 (Autonomous scientific discovery) 시스템은 새로운 가설을 제안하기 위해 대규모 언어 모델 (LLMs)을 점점 더 많이 사용하고 있지만, 이러한 시스템 중 다수는 주로 실험 메모리(experimental memory), 즉 높은 점수를 받은 후보들의 아카이브(archives)나 최근 실험의 휴리스틱 요약(heuristic summaries)에 의존합니다. 우리는 발견 에이전트 (discovery agents)가 대신 가설 품질에 대해 명시적이고 불확실성을 인지하는 신념 (uncertainty-aware beliefs)을 유지해야 한다고 주장합니다. 우리는 실험적 증거를 예측적 신념 상태 (predictive belief state)로 변환하고, 이 신념을 사용하여 향후 실험을 안내하는 신념 가이드형 발견 프레임워크 (belief-guided discovery framework)인 BayesEvolve를 소개합니다. 신념 가이드형 발견을 위한 통제된 테스트베드로서, 우리는 프로그램 및 실험실 발견 영역은 향후 과제로 남겨두고, 변화된 BBOB 스타일의 블랙박스 최적화 (black-box optimization) 작업에서 BayesEvolve를 평가합니다. BayesEvolve는 고정된 평가 예산 하에서 메모리 및 아카이브 가이드형 LLM 베이스라인 (baselines)보다 샘플 효율성 (sample efficiency)을 개선합니다. 나아가 우리는 신념 상태가 홀드아웃 후보 풀 (held-out candidate pools)에 대해 예측력을 가짐을 보여주며, 통제된 의사 결정 규칙 절제 연구 (decision-rule ablations)를 통해 어닐링된 불확실성 보너스 (annealed uncertainty bonus)를 가진 신념 가이드형 선택이 유리함을 보여줍니다. 또한 BayesEvolve는 초점이 맞지 않는 탐색 (unfocused exploration) 대신 생산적인 후기 단계 집중 (late-stage concentration)을 보여줍니다.