RSIBench-Data: 재귀적 자기 개선 (Recursive Self-Improvement)을 위한 데이터 중심 연구 벤치마킹
요약
재귀적 자기 개선(Recursive Self-Improvement) 능력을 평가하기 위한 새로운 벤치마크인 RSIBench-Data를 소개합니다. LLM 에이전트가 데이터 중심 사후 학습 과정에서 피드백을 통해 학습 전략을 얼마나 효과적으로 개선할 수 있는지 측정합니다.
핵심 포인트
- 데이터 중심 연구 역량을 평가하는 통제된 벤치마크 RSIBench-Data 제안
- 에이전트가 피드백을 통해 전략을 개선하는 비율은 58.33% 수준
- 성공적인 에이전트의 4가지 핵심 패턴(가설, 감독, 정렬, 보존) 식별
- 현재 에이전트는 유용한 발견은 가능하나 일관된 개선 능력은 부족함
재귀적 자기 개선 (Recursive self-improvement)은 모델의 실패 증거를 더 나은 모델로 전환하는 것을 필요로 합니다. 데이터 중심 사후 학습 (Data-centric post-training) 연구는 역량 격차를 진단하고, 학습 데이터 전략을 설계 및 검증하며, 체크포인트 피드백으로부터 학습하는 과정을 수반합니다. LLM 에이전트가 이 루프를 자동화할 수 있을까요? 기존의 벤치마크들은 연구 결정 사항을 최적화, 서빙 (serving), 평가 및 시스템 구현과 뒤섞어 놓아, 에이전트의 연구 역량을 가리고 있습니다. 우리는 고정된 사후 학습 스택을 가진 데이터 중심 연구자로서의 LLM 에이전트를 평가하는 통제된 벤치마크인 RSIBench-Data를 소개합니다. 에이전트들은 고정된 타겟 모델을 위해 학습 데이터 전략을 반복적으로 수정합니다. 학습과 서빙은 Tinker 기반 서비스를 사용하며, 공식 평가는 Harbor 및 E2B 샌드박스를 통해 실행되고, 예산은 에이전트 간에 고정됩니다. 우리는 소프트웨어 엔지니어링, 터미널 사용, 과학적 질의응답 및 수학 분야의 6개 벤치마크에서 4개의 최첨단 (frontier) 에이전트를 평가합니다. 에이전트들은 핵심적인 데이터 중심 연구 역량을 보여주었습니다: 58.33%의 설정에서, 에이전트들은 피드백으로부터 전략을 개선함으로써 첫 번째 유효한 시도보다 더 나은 결과를 만들어냈습니다. 그러나 개선 양상은 일관되지 않습니다. 관찰된 최고 점수 이후에도 탐색을 지속한 경우 중 78.26%는 더 낮은 점수의 최종 시도로 끝났으며, 나머지는 동일한 최고점에 도달하는 데 그쳤습니다. 따라서 강력한 후보는 이후의 수정 작업이 실패하더라도 실행 초기 또는 중간 단계에서 나타날 수 있습니다. 궤적 분석 (Trajectory analysis)을 통해 더 강력한 실행에서 나타나는 네 가지 패턴을 식별했습니다: 정확한 가설 (accurate hypotheses), 검증에 기반한 감독 (validation-grounded supervision), 행동 정렬 데이터 (behavior-aligned data), 그리고 강력한 체크포인트의 보존 (preservation of strong checkpoints)입니다. 이러한 발견은 현재의 에이전트들이 유용한 데이터 중심 발견을 할 수는 있지만, 피드백을 일관된 개선으로 아직 전환하지는 못한다는 점을 시사합니다. RSIBench-Data는 재귀적 자기 개선에 필요한 연구 역량을 측정 가능하고 감사 가능한 테스트베드를 제공합니다. 우리는 코드를 https://github.com/evolvent-ai/RSIBench-Data 에서 오픈 소스로 공개합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기