RRSI: 에이전트 하네스에 대한 정규화된 재귀적 자기 개선

LLM 에이전트의 능력은 주로 그를 둘러싼 하네스(harness), 즉 프롬프트, 제어 흐름, 툴링(tooling), 메모리, 그리고 컨텍스트 관리 등에 의해 증폭됩니다. 최근 방법들은 에이전트 하네스의 컴포넌트별 편집을 반복적으로 제안하고 선택함으로써 이 과정을 자동화하며, 실질적으로 에이전트-시스템 수준에서 재귀적 자기 개선(Recursive Self-Improvement, RSI)의 한 형태를 확립하고 있습니다. 하지만 이러한 재귀적 진화는 훈련 과제들을 암기하여 과적합될 수 있으며, 인 분포(in-distribution)에서는 큰 성능 향상을 보이지만, 비 인 분포(out-of-distribution) 벤치마크에서는 그 성능이 줄어들거나 심지어 사라지는 경향을 보입니다. 본 논문에서는 하네스 자체 개선에 정규화 원칙을 통합한 Regularized Recursive Self-Improvement of Agent Harnesses (RRSI)를 소개합니다. RRSI는 진화 후보 제안과 선택에 제약을 가함으로써 작동합니다. 제안자(proposer)는 시간적으로 감쇠하는 예산(temporally annealed budget)으로 작동하여, 후보가 묶을 수 있는 편집의 수를 제한하고, 진화 이력에 기반하여 탐험되지 않은 궤적들을 장려합니다. 선택자(selector)는 비평가(critic)와 가지치기기(pruner)를 갖추고 있습니다. 비평가는 벤치마크별 제안을 선별하며, 가지치기기는 너무 작거나, 비용이 많이 들거나, 더 이상 유용하지 않은 변경 사항들을 제거합니다. 이러한 결합된 제약 조건들은 벤치마크 특정적인 메커니즘보다는 재사용 가능한 에이전트 메커니즘에 유리하게 작용합니다. 코딩, 에이전트 워크스페이스 및 엔지니어링 디자인 과제를 아우르는 여덟 가지 벤치마크 전반에서 RRSI는 진화가 이루어진 분할(split)에서 최대 14.1점의 성능 향상을 보였으며, 다섯 가지 비 인 분포 벤치마크에서는 최대 4.7점의 성능 향상을 달성했습니다. 또한, 정규화되지 않은 진화에 비해 정책 토큰을 30% 적게 사용하는 하네스를 생성합니다. 코드는 https://github.com/google-research/rrsi에서 이용 가능하며 프로젝트 페이지는 https://regularized-rsi.com/입니다.