불안정한 성장으로부터의 신뢰할 수 있는 메모리: 무작위화된 실험을 통한 자체 작성 에이전트 플레이북 큐레이션

지속적인 텍스트 메모리는 언어 모델(language-model) 에이전트가 과거 작업에서 얻은 교훈을 재사용하여 추가 학습 없이 미래의 다단계 작업을 개선할 수 있게 합니다. ACE나 Dynamic Cheatsheet와 같은 시스템들은 이를 플레이북으로 유지합니다: 각 작업 후에 에이전트가 작성하고 프롬프트에서 읽는 교훈들입니다. 핵심 과제는 어떤 교훈들이 나중 작업을 개선하는지 결정하는 것입니다. 현재 시스템들은 이 결정을 에이전트 자체에 맡기는데, 이는 성능을 불안정하게 만듭니다: 동일한 절차로 도움을 주는 플레이북이나 아무 플레이북보다 69.6점 낮은 플레이북을 작성할 수 있습니다. 이러한 발견은 교훈들을 에이전트의 판단보다는 작업 성공에 미치는 측정된 효과를 통해 가치를 부여해야 함을 동기 부여합니다. 우리는 무작위 블록 큐레이션(Randomized Block Curation, RBC)을 제안하며, 이는 연습 작업에 대한 무작위화된 실험으로 이 효과를 측정합니다. RBC는 관련된 교훈들을 성공을 측정 가능하게 움직일 만큼 충분히 큰 블록으로 그룹화하고, 각 연습 작업에서 모든 블록을 무작위로 포함하거나 제외합니다. 무작위 포함은 블록이 있거나 없거나 하는 작업을 비교 가능하게 만들고, 그들의 성공 격차는 해당 블록의 효과를 추정합니다. RBC는 도움이 되는 블록들을 유지하며, 동일한 절차가 도움을 주거나 해로운 플레이북을 작성할 수 있기 때문에 여러 개를 성장시키고 어떤 큐레이션된, 전체 또는 아무 플레이북이 신선한 연습 에피소드에서 가장 높은 점수를 받는지에 따라 서비스를 제공합니다. 두 가지 메모리 시스템, 세 가지 모델, 그리고 세 가지 벤치마크에 걸쳐 RBC는 평균 성공률을 66.9로 높였는데, 이는 전체 플레이북 사용 시 55.5점, 아무 플레이북 사용 시 54.1점, 에이전트 자체 판단으로 교훈 선택 시 53.8점 대비 수치입니다.