우리는 SWE-bench, arena Elos 등을 통해 모델들을 끊임없이 벤치마킹(benchmark)합니다. 하지만 정작 이를 운용하는 사람을 벤치마킹하는 사람은 아무도 없습니다. 동일한 플랜(plan)과 동일한 모델을 사용하는 두 사람이라도 토큰당 출력 결과는 판이하게 다를 수 있으며, 지금까지는 이를 수치화할 방법이 없었습니다.

그래서 제가 하나 만들었습니다. HAID ("How Am I Doing")는 Claude Code가 이미 ~/.claude/projects/에 저장하고 있는 세션 트랜스크립트(session transcripts)를 읽어 들여, 각 작업 단위를 단 하나의 비율로 점수화합니다: 바로 '토큰당 성취도(achievement per token)'입니다.

어려운 점은 단순히 양을 늘리는 것에 보상을 주지 않으면서 성취도를 측정하는 것이었습니다. 에이전트(agent)는 평범한 코드 10,000줄을 기꺼이 만들어낼 수 있기 때문입니다. 제가 채택한 방식은 다음과 같습니다:

이 지표들은 Haiku가 왜 토큰(tokens)이 낭비되었는지 조사하고, 최신 베스트 프랙티스(best practices)로부터 코칭 권장 사항을 생성하기 위한 앵커 포인트(anchor points) 역할을 합니다.
전체 파이프라인: /plugin marketplace add dv-hart/haid를 실행하여 추가 및 설치한 다음, 새 세션에서 "how am I doing?"이라고 물어보세요. 리더보드(board)에 이름을 올리려면 완료 후 haid submit을 입력하면 됩니다.
리더보드(Board): https://dv-hart.github.io/haid-benchmark/
저장소(Repo): https://github.com/dv-hart/haid
제 1위 자리가 의미가 있었으면 좋겠습니다. 와서 가져가세요.
제출자: /u/FunScore645
[link] [comments]