LLM 에이전트는 장기적이고 개방된 환경에서 협력할 수 있을까요? 저희는 에이전트들이 탐험하고, 소통하며, 자원을 거래하고, 도구를 제작하고, 구조물을 건설하고, 몬스터와 싸우는 등의 작업을 위해 함께 일해야 하는 새로운 벤치마크에서 13개의 최신 LLM을 평가했습니다. 요약하자면: 대부분의 에이전트가 어려움을 겪으며, 평균 정규화된 수익률은 약 6%에 불과합니다. 하지만 가장 어려운 설정에서는 zero-shot Gemini 3.1 Pro가 10억 개의 환경 스텝으로 학습된 최고의 MARL(Multi-Agent Reinforcement Learning) 에이전트와 비교할 만한 성능을 보였습니다. 더 넓게 보면, 저희는 협업 능력이 장기적 작업 역량과는 별개의 병목 현상임을 발견했으며, 이 중 소통 기능이 저희의 harness ablation 실험에서 가장 큰 영향을 미치는 것으로 나타났습니다. 논문: https://arxiv.org/abs/2606.08340 프로젝트 페이지 및 리더보드: https://alem-world.github.io 코드: https://github.com/alem-world/alem-env 인터랙티브 트레이스: https://alem-world.github.io/traces.html 궁금한 점이 있으면 언제든지 질문해 주세요! /u/ktessera가 r/MachineLearning에 제출함 [링크] [댓글]