대규모 언어 모델(LLMs)이 자율 에이전트로 진화함에 따라, 통합된 평가 인프라의 필요성이 중요해지고 있습니다. 하지만 현재의 평가 파이프라인은 여전히 매우 파편화되어 있고 강하게 결합되어 있어 재현성을 저해하고 중복적인 엔지니어링을 유발합니다. 이를 해결하기 위해, 우리는 LLM 기반 에이전트를 평가하기 위한 오픈 소스이며 가볍고 확장 가능한 인프라인 AgentCompass를 소개합니다. AgentCompass는 벤치마크(Benchmark), 하네스(Harness), 환경(Environment)이라는 세 가지 독립적인 구성 요소를 중심으로 평가 프로세스를 구성하여, 복잡한 실행 로직을 재구현할 필요 없이 유연한 구성을 가능하게 합니다. 또한, 이는 오류에 강인한 비동기 런타임과 보상 해킹(reward-hacking)과 같은 미묘한 실패 모드를 투명하게 진단하는 포괄적인 궤적 분석 도구를 갖추고 있습니다. 다섯 가지 역량 차원에 걸쳐 20개 이상의 벤치마크를 네이티브로 지원하는 AgentCompass는 커뮤니티에 에이전트 연구 발전을 위한 확장 가능하고 재현 가능한 인프라를 제공합니다.