설정: - 총 38개의 태스크 - Claude 모델 2개(Haiku 4.5, Sonnet 5) × 5회 반복, + Opus 4.8 프로브 1회 - 동일 라이브 워크스페이스 사용. - 결정론적 상태 확인 및 팔-블라인드 LLM 심사관 활용. - 95% 신뢰구간(CI) 설정. 발견 사항: - 두 모델 모두 성공률은 동점입니다. - AXI가 약한 모델에서 명목상 앞서고, MCP가 강력한 모델에서 앞섰으며, 모든 CI는 0을 포함합니다. - 구조적 차이가 크고 중요합니다: 도구 표면(tool surface)이 약 3배 작고, 태스크당 비용은 2.3–3.3배 저렴하며, 혼합 워크로드에서는 요청당 최대 약 13배 더 저렴합니다 (MCP 스키마가 모든 요청에 따라갑니다). - 약한 모델에서 가졌던 '오류 수정 적음' 우위는 강력한 모델에서는 사라졌습니다. - AXI가 뒤처지는 부분: 강력한 모델에서의 검색 재현율(search recall) 및 콘텐츠 생성입니다. 저는 또한 결과에 대한 31페이지 분량의 상세 보고서도 작성했습니다 (레포지토리에서 확인 가능). 레포 (논문, 원시 데이터, 하네스): https://github.com/JanSuthacheeva/clickup-ai-benchmark 어떤 피드백이든 환영합니다.
제출자: /u/Happy_Nebula_9748 [링크] [댓글]