AgentFloor: 소형 오픈 웨이트 모델이 도구 사용 계단에서 얼마나 높은 곳에 도달할 수 있는가?

요약

본 논문은 생성형 에이전트 시스템의 실질적인 설계 문제를 다루며, 모든 작업을 거대 모델에 의존하는 것이 비효율적임을 지적한다. 연구진은 'AgentFloor'라는 30가지 작업으로 구성된 계단식 벤치마크를 개발하여, 소규모 오픈 웨이트 모델이 일상적이고 구조화된 도구 사용 작업에서 매우 강력한 성능을 보인다는 것을 입증했다. 그 결과, 에이전트 시스템은 대부분의 작업을 소형 모델로 처리하고, 장기 계획이나 복잡한 제어가 필요한 좁은 영역에만 대규모 프론티어 모델을 사용하는 하이브리드 접근 방식이 가장 효율적임을 시사한다.

핵심 포인트

• 소형 오픈 웨이트 모델(0.27B~32B)은 일상적인 구조화된 도구 사용 작업에서 매우 높은 성능을 보여, 에이전트 파이프라인의 대부분을 담당할 수 있다.
• 가장 강력한 오픈 웨이트 모델은 GPT-5와 유사한 성능을 보이지만, 실행 비용과 속도 면에서 훨씬 효율적이다.
• 대규모 프론티어 모델(GPT-5)은 장기 지평 계획이나 지속적인 제약 조건 추적이 필요한 복잡하고 깊은 작업에 여전히 이점을 가진다.
• 에이전트 시스템 설계의 실용적 원칙은 '소형 모델 기반의 광범위한 기본 레이어'와 '대규모 모델 기반의 좁고 깊은 전문 기능'을 결합하는 하이브리드 접근 방식이다.