지속적인 과학적 발견을 위한 증거 기반 LLM 신념 (Evidence-Informed LLM Beliefs)

대규모 언어 모델 (LLMs)을 활용한 개방형 과학적 발견 (Open-ended scientific discovery)은 점차 가설 탐색과 검증이 긴 지평(long-horizon)을 가진 루프로 작동하며, 여기서 보상 신호 (reward signal)는 다음에 테스트할 가설을 안내합니다. 최근 주목할 만한 사례인 AutoDiscovery는 가설에 대한 증거를 관찰한 후 LLM이 겪는 신념의 변화인 "베이지안 놀라움 (Bayesian surprise)"을 발견 지표이자 탐색을 위한 보상으로 사용합니다. 우리는 먼저 AutoDiscovery가 놀라움 (surprisal)을 정적인 양으로 취급하는 반면, 인간의 추론에서 놀라움은 비정상성 (non-stationary)을 띤다는 점을 관찰했습니다. 즉, 놀라움은 지속적인 과학적 발견의 전제 조건인 경험에 따라 진화하는 신념에 상대적으로 정의됩니다. 우리는 증거 기반 LLM 신념 (evidence-informed LLM beliefs)을 통해 이러한 불일치를 해결합니다. 이는 이전 가설로부터 얻은 증거로 업데이트된 사전 확률 (priors)을 사용하여 새로운 가설에 대한 비정상적 놀라움을 계산하는 방식입니다. 우리는 인컨텍스트 (in-context) 신념 업데이트 메커니즘을 비교하였으며, 이전 발견들에 대한 임베딩 기반 검색 증강 생성 (retrieval-augmented generation, RAG)이 최종 사후 확률 (posteriors)을 가장 잘 예측한다는 것을 발견했습니다. 이를 통해 정적 놀라움의 37.5%가 가짜 (spurious)임을 식별했습니다. 그런 다음 우리는 이러한 가짜 보상을 피하고 비정상적 신념 하에서도 놀라움을 유지하는 가설을 우선시하도록 탐색 과정을 수정합니다. 구체적으로, 우리는 기존 탐색 절차에 두 가지 상호 보완적인 변화인 신념 업데이트 필터링 (belief-update filtering)과 다양성 극대화 (diversity maximization)를 도입합니다. 5개의 발견 도메인 전반에 걸쳐, 우리의 방법은 기존 탐색 절차와 비교하여 누적 비정상 놀라움을 평균 30.62% 증가시켰으며, 이는 LLM을 통한 지속적인 과학적 발견에는 더 나은 신념 측정뿐만 아니라 중복을 피하고 다양성을 장려하는 탐색 절차가 필요함을 입증합니다.