에이전트 벤치 점수는 치솟는데, 현장 대체가 안 된다. Hugging Face Agentic Evaluations Workshop이 그 간극을

에이전트 벤치 점수는 치솟는데, 현장 대체가 안 된다. Hugging Face Agentic Evaluations Workshop이 그 간극을 정면으로 잡는다. 텍스트 LLM 평가는 어느 정도 틀이 생겼지만, 다단계·툴 사용·장기 실행 에이전트를 시간에 걸쳐 재현 가능하게 재는 문제는 아직 열려 있다.

보고부터가 깨져 있다. Avijit Ghosh(HF)는 GPT-5.2 시스템 카드의 SWE-bench가 표에는 높게 보이지만 각주에 237문제 중 40개를 빼 놓았다는 식의 “작은 글씨”, Llama 4의 벤치마크 혼합, 축이 무너진 차트 위기를 짚는다. 환경·노동·편향 같은 사회영향 평가는 1차 보고 투명도가 오히려 줄었고(릴리스 문서 171건 기준 노동·환경 언급 15% 미만), Meter·Apollo 등 3자 평가의 양·질이 올라간다. 그래서 만든 게 Every Eval Ever — 모델·양자화·라이브러리·라인별 결과까지 담는 공개 스키마와 Hub 데이터셋, 나중엔 eval cards. 에이전트로 가면 같은 점수라도 스텝·비용·에러가 다른 두 스토리가 가능하니, 세션 기록·시스템 구성(서브에이전트·MCP·메모리)·상호작용·재현 조건이 필수다. 모델 이름만으로는 에이전트 정체가 비어 있다.

Arvind Narayanan(Princeton)은 그 간극을 capability–reliability로 분해한다. Rabbit R1의 잘못된 배달, Operator 오주문, 코딩 에이전트의 프로덕션 DB 삭제처럼 “능력은 있는데 신뢰가 없어 죽었다”. 일관성·강건성·예측가능성(교정)·실패 심각도 네 축. 14개 프론티어 모델·약 18개월을 Gaia·Tau bench에서 보면 정확도는 가파른데 신뢰성 합성은 완만하고, 정확도–신뢰성은 거의 직선이되 기울기가 훨씬 낮다. 교정은 나아지는데 discrimination은 나빠지는 역설, 모호 과제·툴 장애 주입 시 환각도 보인다. 사람이 루프에 있는 증강과 단독 자동화는 신뢰 임계값이 다르고, 벤치마다 신뢰 지표를 같이 재는 규범·reliability index를 밀어붙인다.

Pierre Andrews(Meta)의 Gaia 2는 바깥 세계가 바뀌는 컨슈머 에이전트를 시뮬로 잰다. Agent Research Environment(ARE) 위 앱·유니버스·이벤트·시나리오 — 약 1,000 시나리오·10 유니버스·약 11앱. 실행·검색·적응·시간·모호성 다섯 능력. 참석자 취소·가격 대기처럼 환경/시간 이벤트에 반응해야 하고, 툴 실패·API 시그니처 변형·무관 노이즈·에이전트-투-에이전트로 강건성을 민다. 루브릭 LLM 판정 대신 기대 액션 수준 검증으로 옮겨 비용·판정 의존을 줄인다.

Mahesh Sathiamoorthy(Bespoke Labs)는 환경 우선을 실무 언어로 옮긴다. 샌드박스+태스크+그레이더, Harbor 등 포맷, 그레이더/정답 격리로 리워드 해킹 차단. success·pass@k뿐 아니라 스텝·토큰·지연·비용, 같은 모델도 하네스에 따라 갈리는 Terminal Bench식 차이. 트레이스 실패 분석, 장기·멀티에이전트·sim-to-real 갭이 남은 숙제다.

Nathan Habib(HF)는 Community Eval로 살아있는 벤치를 Hub에 붙인다. eval.yaml과 Inspect AI 등 기존 프레임으로 분산·공개·PR 가능 리더보드. Terminal Bench 등 에이전틱 벤치가 이미 올라와 있고, 추론 프로바이더만으로 돌리면 모델이 아니라 프로바이더를 재게 되니 로컬·HF Jobs처럼 통제된 환경이 재현성의 조건이라고 본다.

관통 메시지는 하나다. 점수 표만 쫓지 말고 세션·하네스·환경·신뢰 축을 같은 면에 올려 “쓸 수 있는가”를 재라. 에이전트 배포 전, capability 옆에 reliability와 보고 스키마를 기본값으로 둘 시점이다.

https://t.co/tMUHSry93Z
Avijit Ghosh · Arvind Narayanan · Pierre Andrews · Mahesh Sathiamoorthy · Nathan Habib · Hugging Face

#LLM서빙 #에이전트 #에이전틱평가 #벤치마크 #Gaia2 #신뢰성 #평가인프라 #HuggingFace #하네스