RSIBench-Data: 재귀적 자기 개선 (Recursive Self-Improvement)을 위한 데이터 중심 연구 벤치마킹

요약

재귀적 자기 개선(Recursive Self-Improvement) 능력을 평가하기 위한 새로운 벤치마크인 RSIBench-Data를 소개합니다. LLM 에이전트가 데이터 중심 사후 학습 과정에서 피드백을 통해 학습 전략을 얼마나 효과적으로 개선할 수 있는지 측정합니다.

핵심 포인트

• 데이터 중심 연구 역량을 평가하는 통제된 벤치마크 RSIBench-Data 제안
• 에이전트가 피드백을 통해 전략을 개선하는 비율은 58.33% 수준
• 성공적인 에이전트의 4가지 핵심 패턴(가설, 감독, 정렬, 보존) 식별
• 현재 에이전트는 유용한 발견은 가능하나 일관된 개선 능력은 부족함