발견 확장을 위해서는 망각이 필요하다

LLM 에이전트를 활용한 자동화된 연구는 다양한 영역에서 유망한 결과를 보여주었습니다. 반복적인 개선과 점수 부여 검증기(scored verifiers)를 통해 LLM 에이전트는 새로운 아이디어를 발견할 수 있습니다. 자동화된 연구를 확장하는 방법은 여러 가지가 있습니다: 하나의 에이전트가 더 오래 반복하도록 하거나, 여러 에이전트를 병렬로 실행하거나, 또는 병렬 에이전트들이 서로 소통하며 서로의 후보(candidates)를 발전시키도록 하는 것입니다. 하지만 저희는 이 세 가지 전략 모두 에이전트들이 역사를 축적함에 따라 결국 정체된다는 것을 발견했습니다. 각 에이전트는 자신의 과거 시도에 고정되어 더 적고 작은 수정만 하게 됩니다. 이 지점을 넘어서면, 추가적인 예산은 거의 개선을 가져오지 못합니다. 본 논문에서 저희는 발견을 더욱 확장하는 핵심 열쇠가 '망각(forgetting)'임을 보여줍니다. 검색 상태를 주기적으로 폐기하고, 모든 에이전트의 세션과 후보 이력을 버린 다음, 지금까지 발견된 최고의 후보부터 다시 시작하면, 검색이 막히는 것을 해제하고 동일한 예산을 더 멀리 밀어붙일 수 있습니다. 저희는 통신하는 에이전트 팀에 망각을 구현하여 휴리스틱 프로그래밍(heuristic programming), 커널 최적화(kernel optimization), 모델 훈련(model training)을 아우르는 네 가지 작업에서 평가했습니다. 그 결과는 병렬 에이전트에 비해 최대 15%의 개선, 그리고 단일 에이전트에 비해 최대 39%의 개선을 보여줍니다. 저희의 결과는 개방형 발견(open-ended discovery)에 있어서, 에이전트가 기억하도록 허용되는 것이 얼마나 많은 컴퓨팅 자원을 제공하는 것만큼 중요하다는 것을 시사합니다.