Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 기사는 다양한 유로게임을 포괄하는 통합 평가 환경인 DECE를 소개합니다. 이 아레나는 LLM 에이전트의 지속적인 전략적 약속과 공유 자원 경쟁 능력을 테스트하며, 10개 게임에 걸친 광범위한 비교가 가능합니다. 연구 결과는 모델 성능 외에도 자원 사용량(토큰/비용)을 종합적으로 고려해야 함을 강조합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기상호작용 환경은 대규모 언어 모델(LLM) 에이전트를 평가하는 실질적인 방법을 제공하며, 경쟁 게임은 이 평가를 경쟁 목표와 다른 에이전트의 선택에 의해 형성되는 결정까지 확장합니다. 그러나 개별 게임이나 실행 프레임워크에 국한된 기존 평가는 어떤 경쟁 우위가 설정 전반에 걸쳐 지속되는지 불분명하게 만듭니다. 우리는 공유 인터페이스와 평가 프로토콜을 가진 10개의 유로게임에 걸친 통합 경기장인 DECE(Diverse Eurogame Competitive Environments)를 소개합니다. 이 게임들은 오래 지속되는 전략적 약속, 공유 자원에 대한 경쟁, 그리고 승리로 가는 여러 경로를 결합하고 있습니다. 우리의 주요 연구는 9개 모델과 4개 실행 하네스에 걸친 12가지 모델-하네스 구성을 10개의 게임에서 진행된 480번의 3인 플레이 매치로 평가합니다. 본론 및 보충 연구를 통해 총 1,032개의 완료된 매치가 포함됩니다. 이러한 비교는 광범위한 크로스게임 순위 일치성과 게임별 강점을 보여줍니다. 매칭 연구에 따르면 동일한 모델이 실행 하네스 전반에 걸쳐 다르게 성능을 보일 수 있으며, 이는 이 프로필에 또 다른 변동성 요소를 추가합니다. 이러한 성능 우위가 토큰 또는 비용 효율성의 개선으로 일관되게 이어지지는 않기 때문에, 자원 사용은 구성을 비교할 때 고려해야 할 추가적인 요소가 됩니다. 종합적으로 볼 때, 이러한 발견들은 에이전트의 완전한 구성(complete agent configurations)을 게임 전반에 걸친 경쟁 성능과 그것을 달성하는 데 필요한 자원이라는 두 가지 측면 모두로 평가할 수 있음을 뒷받침합니다.