어제 GitHub에서 awesome-evals 목록을 읽다가, 몇 달 동안 고민해왔던 깨달음을 얻었습니다. 바로 우리 대부분이 잘못된 방식으로 벤치마킹하고 있다는 것입니다.

'잘못되었다'는 것이 성능 수치가 나쁘다는 의미가 아닙니다. 측정하는 대상 자체가 틀렸다는 의미입니다.

이 목록은 AI 에이전트를 평가하기 위한 논문, 도구, 벤치마크를 선별한 라이브러리이며, 불필요하거나 특정 공급업체의 홍보 자료는 없습니다. 제가 주목한 점은 많은 평가들이 모델이 고립된 상태에서 무언가를 '할 수 있는지(can)'만 테스트한다는 것입니다. 반면, 환경이 복잡하고, 지침이 모호하며, 도구 호출이 연속으로 세 번 실패했을 때 올바른 행동을 할지('will')를 테스트하는 경우는 매우 적다는 점입니다.

그것이 바로 격차입니다. 실험실(Lab) 평가가 '능력(capability)'을 측정한다면, 실제 운영 환경(Production) 평가는 '신뢰성(reliability)'을 측정합니다.

저는 몇 달 동안 작게 자체 호스팅하는 에이전트 스택을 운영해 왔는데, 실제로 저를 괴롭히는 버그들은 결코

누군가 그것을 구축할 때까지, 저는 자체 평가 파이프라인에 '실패 재현(failure replay)' 단계를 추가하고 있습니다: 프로덕션 환경에서 발생한 실제 실패 사례를 포착하여 테스트 하니스에 주입하고, 다음 버전이 이를 더 잘 처리하는지 확인합니다. 이는 발표할 수 있는 벤치마크는 아니지만, 새벽 2시에 찾아오는 고통스러운 상황을 막아주는 역할을 합니다.