Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
개인용 AI 에이전트의 재귀적 자기 개선 능력을 평가하기 위한 새로운 벤치마크인 PAST-Bench를 소개합니다. 에이전트가 축적된 경험을 통해 성능을 실제로 개선하는지 체계적으로 분석하며, 이를 개선하기 위한 Hermes+ 프레임워크를 제안합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기재귀적 자기 개선(Recursive self-improvement)은 에이전트가 축적된 경험을 더 나은 미래 행동으로 전환할 것을 요구합니다. 개인용 AI 에이전트는 세션 전반에 걸쳐 선호도, 작업 이력, 도구 루틴 및 학습된 기술을 유지하기 때문에 이 능력을 연구하기 위한 구체적인 환경을 제공합니다. 그러나 유지된 경험이 실제로 시간이 지남에 따라 에이전트를 개선하는지는 체계적으로 테스트되지 않았습니다. 우리는 이 문제를 분리하여 조사하기 위해 설계된 벤치마크인 PAST-Bench를 소개합니다. 각 에이전트는 유지된 경험을 켜거나 끄는 일치된 조건 하에서, 새로운 세션 작업의 순차적 시퀀스를 수행합니다. 이는 메모리(memory), 절차적 재사용(procedural reuse), 정보 수집(information gathering) 및 업데이트(update)에 걸쳐 26개의 시나리오와 204개의 에피소드를 아우릅니다. 우리는 후속 작업에서의 이득(later-task gains)과 해당 이득이 의도된 저장(save), 검색(retrieve), 업데이트(update) 경로를 따르는지 여부를 모두 보고합니다. 7개의 기본 모델과 4개의 에이전트 프레임워크를 통해 분석한 결과, 개선은 실제로 나타나지만 능력별로 불균등하게 나타납니다. 동일한 헤드라인상의 이득을 보이는 에이전트라 하더라도, 해당 이득이 의도된 경로의 증거에 의해 뒷받침되는지 여부는 현저하게 다를 수 있습니다. 이러한 발견을 바탕으로, 우리는 에이전트 루프의 단계 전반에 걸쳐 5가지의 타겟팅된 개입(interventions)을 통해 Hermes를 확장한 Hermes+를 개발했습니다. Hermes+는 유지된 경험으로부터 얻는 평균 이득을 높이고 더 명확한 경로 증거를 제공하며, 특히 오래된 상태(outdated state)를 교체해야 하는 작업에서 가장 강력한 개선을 보였습니다. 다만 그 효과는 능력 및 모델에 따라 달라집니다. 결과적으로 PAST-Bench와 Hermes+는 지속적인 에이전트(persistent agents)가 경험을 유지하는 단계에서부터 이를 통해 체계적으로 개선되는 단계로 어떻게 나아갈 수 있는지를 연구하기 위한 평가 및 진단적 토대를 제공합니다. 코드: https://github.com/Gen-Verse/PAST-Bench