AI 모델 가중치는 그대로 두고, 에이전트를 돌리는 틀(하네스)만 스스로 고쳐 나가게 한 연구다.
요약
NUS 등 연구진이 AI 모델 가중치는 고정한 채 에이전트 구동 틀(하네스)만 스스로 개선하는 재귀적 자기개선 프레임워크 'The Trinity'를 제안했습니다. 이 시스템은 능력 트리 구축, 공통점 기반 환경 생성, 모듈화된 하네스 생성을 통해 멀티모달 AI의 성능을 크게 향상시켰습니다.
핵심 포인트
- 모델 가중치는 고정하고 에이전트 구동 틀(하네스)만 자체 개선하는 방식입니다.
- Evolver, Creator, Explorer 세 가지 모듈로 구성된 'The Trinity' 프레임워크가 핵심입니다.
- 기존 하네스와 비교하여 다수의 벤치마크에서 높은 성능 향상을 입증했습니다.
- 실제 로봇 과제 등 실제 환경에서도 성공률 증가를 보여 실용성을 높였습니다.
AI 모델 가중치는 그대로 두고, 에이전트를 돌리는 틀(하네스)만 스스로 고쳐 나가게 한 연구다.
Inf Rec·싱가포르국립대(NUS) 등 9개 기관 연구진이 멀티모달 AI 에이전트의 재귀적 자기개선 프레임워크 The Trinity를 제안하는 논문을 냈다. Hugging Face Daily Papers 10월 28일자 1위 논문으로, 추천 542개를 받았다.
출발점은 겉모습이 다른 과제도 같은 능력이 필요할 수 있다는 관찰이다. 예를 들어 ARC-AGI-3 퍼즐과 미로 탐색(Micromouse)은 둘 다 정확한 인식과 상태 추적이 필요하다.
-
Evolver: 검증된 실행 기록을 바탕으로 과제를 종류가 아니라 필요한 능력 기준으로 묶어 '능력 트리'를 만든다.
-
Creator: 같은 능력이 필요한 과제들의 공통점을 뽑아 단순하고 검증 가능한 가상 환경을 만들고, 원래 과제로 효과를 확인한다.
-
Explorer: 능력 트리를 따라 재사용 가능한 모듈을 물려받고 다듬어 여러 하네스를 만든다. 과제마다 어떤 하네스를 쓸지는 라우터가 고른다.
실험은 Claude Opus 5 모델을 고정한 채 진행했다. 저자들에 따르면 기본 하네스와 비교해 개선에 쓴 28개 벤치마크 평균은 39.1점에서 73.2점으로 34점, 처음 보는 18개 벤치마크 평균은 37.5점에서 63.6점으로 26점 올랐다(100점 만점). 다만 이 수치는 과제마다 가장 잘 맞는 하네스를 사후에 고른 상한값이고, 라우터가 직접 고르면 각각 71.3점, 61.0점이었다. 또 개선된 하네스에는 사전 준비 과정에서 얻은 스킬이 붙어 있어, 상승분 일부는 스킬 효과도 포함한다.
처음 보는 18개에는 실제 로봇 과제 2개가 들어 있다. Unitree G1이 책상까지 걸어가 손을 뻗는 과제와 AlohaMini2가 엎어진 컵 밑의 큐브를 찾는 과제다. 사전 준비한 스킬을 붙인 상태에서 둘 다 10번 중 0번이던 성공이 6번으로 늘었다.
같은 Claude Opus 5로 돌린 Codex·DeepSeek 하네스와 비교하면, 로봇을 뺀 16개 신규 벤치마크 평균이 64.1점으로 둘(47.5점, 46.2점)보다 높았다.
한계도 있다. Crafter와 DiG-bench에서는 Codex·DeepSeek 하네스 둘 다보다 낮았다. 로봇 결과는 하네스와 사전 준비한 스킬을 합친 결과라 각각의 효과를 따로 보여주지는 않는다. 저자들은 벤치마크를 웹 검색으로 찾아 수집 범위와 품질이 고르지 않을 수 있고, 이번 연구가 하네스 수준의 개선에 집중했다고 밝혔다. 모델 학습까지 넓히는 것은 앞으로의 과제로 남겼다.
#AI논문 #AI에이전트 #자기개선
AI 자동 생성 콘텐츠
본 콘텐츠는 X 새 AI 모델의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기