OpenClaw, Hermes Agent 및 Prime Agent는 경험으로부터 의미 있게 학습하지 못했다

요약

새로운 벤치마크 Continual-ARC를 통해 OpenClaw, Hermes Agent 등 기존 에이전트들이 경험으로부터 의미 있게 학습하거나 새로운 작업으로 일반화하는 데 한계를 보였습니다. 이 연구는 작은 9B 모델의 가중치를 학습시켰을 때만 유의미한 기억과 일반화가 가능했음을 보여주며, 현재 에이전트 아키텍처의 근본적인 문제를 지적합니다.

핵심 포인트

• OpenClaw 등 기존 에이전트는 경험으로부터 의미 있는 학습에 실패함.
• @letsunifyai의 Continual-ARC 벤치마크를 통해 성능 한계가 입증됨.
• 작은 9B 모델 가중치를 학습시킨 경우에만 일반화 능력이 확보되었음.
• 기존 에이전트는 새로운 퍼즐에서 미학습 상태보다 현저히 낮은 사용률을 보임.