AcademiClaw: 학생이 AI 에이전트를 위한 과제를 설정할 때

요약

본 기술 기사는 기존 AI 평가 벤치마크가 보조적인 수준의 과제에만 초점을 맞추어 온 한계를 지적하며, 대학원생들의 실제 학술 워크플로우에서 발생하는 복잡하고 장기적인 문제들을 다루는 새로운 이진어 벤치마크인 AcademiClaw를 소개합니다. 이 벤치마크는 수학, 언어학부터 GPU 기반 강화 학습 및 시스템 디버깅까지 25개 이상의 전문 분야에 걸쳐 80개의 복잡한 과제를 포함하며, 격리된 환경과 다차원 평가 기준을 통해 AI 에이전트의 실제 학술 역량을 엄격하게 측정합니다. 실험 결과, 최첨단 모델들조차도 높은 통과율을 달성하지 못했으며, 이는 향후 더 유능하고 범용적인 AI 에이전트를 개발하는 데 중요한 진단 신호를 제공할 것으로 기대됩니다.

핵심 포인트

• AcademiClaw는 기존 벤치마크의 한계를 극복하기 위해 실제 학술 워크플로우 기반의 복잡한 장기 과제(long-horizon tasks)를 다룹니다.
• 이 벤치마크는 수학, 언어학부터 GPU 집약적 RL 및 시스템 디버깅까지 25개 이상의 광범위한 전문 분야를 포괄합니다.
• 과제 수행은 격리된 Docker 환경에서 이루어지며, 6가지 보완적인 기법을 결합한 다차원 루브릭으로 평가됩니다.
• 최첨단 모델들의 성능 분석 결과, 높은 통과율 달성이 어려움을 보여 AI 에이전트의 실제 학술 역량에 대한 심층적인 진단 정보를 제공합니다.