SEAR: 자체 진화하는 에이전트 로보틱스

최신 언어 모델 기반 에이전트는 이제 스스로 로봇을 개선할 수 있습니다. 즉, 제어 코드를 작성하고, 이를 테스트하며, 작동하는 것을 다음 작업의 기술(skills) 및 기억으로 유지합니다. 우리는 두 가지 질문을 중심으로 구축된 프레임워크이자 벤치마크인 SEAR (Self-Evolving Agentic Robotics)를 소개합니다. 에이전트가 정말로 학습하고 있는 것인지, 아니면 단순히 더 자주 시도하는 것에 불과한지? 그리고 그것이 배운 것이 새로운 작업, 새로운 시뮬레이터, 그리고 실제 로봇에서 여전히 도움이 되는지에 대한 질문입니다. 이 프레임워크는 세 가지 모드로 에이전트를 실행합니다: 정책이 되는 코드를 작성하거나 (code-as-policy), 제어 루프 내에서 실시간으로 작동하거나 (agent-as-policy), 비전-언어-행동 모델을 미세 조정하는 연구원처럼 작업합니다 (auto-research). 이 벤치마크는 유지된 경험과 반복적인 시도, 친숙한 작업, 특권화된(privileged) 시뮬레이터 상태, 더 큰 예산, 그리고 운을 분리하는 제어 장치를 추가했습니다. 총 일곱 개의 최신 언어 모델, 330개의 시뮬레이션 및 다섯 개의 물리적 작업을 통해, 그리고 4년 이상의 에이전트 실행 시간을 거쳐, 우리는 세 가지 발견점을 강조합니다. 첫째, 로봇 에이전트의 학습 곡선은 전체 시간 예산과 모델 역량 대비 작업 난이도 모두에 달려 있습니다. 더 어려운 작업은 더 긴 세션을 가치 있게 만들고; 쉬운 작업에서는 짧은 시도를 재실행하는 것이 똑같이 효과적입니다. 둘째, 제어 코드와 공유 루틴은 작업을 넘나들고 시뮬레이터를 넘어 전이되는 반면, 작업별 해결책은 그렇지 않습니다. 실제 로봇에서 우리는 에이전트가 설계한 연습과 새로운 인간 설계 장면 사이의 성능 격차를 관찰합니다. 셋째, 서로 다른 모델들은 각기 다른 방식으로 더 효과적으로 진화합니다. 어떤 모델은 실시간으로 작동할 때 가장 뛰어나고, 다른 모델은 코드를 먼저 작성하는 것이 좋습니다. 그리고 텍스트 전용 모델이 비교 가능한 멀티모달 모델과 보조를 맞추는데: 지각(perception)은 오류 평가에 도움을 주지만, 에이전트적 추론(agentic reasoning)과 도구 사용이 더 중요할 수 있습니다. 우리는 향후 연구를 지원하기 위해 이 벤치마크와 코드베이스를 공개합니다.