요즘 에이전트 성능은 날아가는데 이걸 채점할 인프라가 없는 게 진짜 병목임. Claude Mythos가 METR 기준 자율 구동 16시간을

요약

최근 에이전트 모델의 성능은 크게 향상되고 있지만, 이를 객관적으로 측정하고 검증할 수 있는 인프라가 부족하여 병목 현상이 발생하고 있습니다. Claude Mythos는 METR 기준 자율 구동 시간을 16시간 이상 달성했다고 발표했지만, 장기 과제 표본 자체가 적어 신뢰 구간이 매우 넓게 나타나(8시간 29분 ~ 2일 7시간) 측정 결과의 신뢰성에 의문이 제기됩니다. 따라서 모델 성능을 평가할 때는 단순히 긴 구동 시간만 믿기보다는 데이터 기반의 체계적인 검증 시스템 구축이 필수적입니다.

핵심 포인트

• 에이전트 모델의 발전 속도 대비, 이를 객관적으로 측정하고 검증할 인프라가 부족한 것이 현재 가장 큰 병목 지점이다.
• Claude Mythos는 METR 기준 16시간 이상의 자율 구동 시간을 달성했으나, 장기 과제 표본 부족으로 인해 신뢰 구간이 매우 넓어(8시간~2일) 측정 결과의 신뢰도가 낮다.
• 모델을 실제 워크플로우에 적용할 때는 단순히 긴 구동 시간만 믿어서는 안 되며, 중간 과정에서의 오류나 비효율적인 토큰 소모를 주의해야 한다.