Show GN: hone - 에이전트 평가 사이클을 자동으로 돌리고, 처음 보는 케이스로 판정하는 CLI

에이전트 프롬프트를 고칠 때마다 평가 돌리고, 결과 보고, 다시 고치는 일을 자동화해봤습니다. 이름은 hone입니다.

명령어는 4개입니다.

• hone draft: 에이전트의 프롬프트와 코드를 읽고 테스트 케이스를 직접 씁니다. 반드시 불러야 하는 도구, 부르면 안 되는 도구, 호출 순서, 인자, 답에 들어가야 하는 문구를 정확한 체크로 적고, 정확히 확인할 수 없는 규칙만 말로 적어 judge 모델에 넘깁니다.
• hone test: 케이스를 여러 번 돌리고 점수를 얼마나 믿을 수 있는지까지 보여줍니다.
• hone sharpen: 실패 원인을 이름 붙여 묶고, 개선안(사람이 쓴 파일, 코딩 에이전트가 쓴 파일, hone 모델의 재작성)을 시도합니다.
• 판정은 시작 전에 떼어 둔 케이스 1/3로만 합니다. 어떤 개선안도 그 케이스를 보지 못합니다.

결과는 PROVEN / PROMISING(케이스가 몇 개 더 있어야 확정되는지 알려줌) / NO GAIN 셋 중 하나로 나옵니다. 비용도 판정에 들어가서, 더 비싼 모델은 그만큼 더 나아야 채택됩니다.

직접 돌려본 결과입니다.

• 장난감 예제(헬프데스크 봇): 0%에서 100%, 처음 보는 6케이스에서 PROVEN (p = 0.03), 15초, 모델 호출 4번
• LangChain·Strands로 만든 헬프데스크 에이전트: PROVEN 2건, PROMISING 2건. 학습 케이스에서만 좋아 보이던 개선 2건을 떼어 둔 케이스가 걸러냈습니다.
• 실제 코드베이스 Q&A 에이전트(Strands): 케이스 17개를 자동으로 쓰고, 처음 보는 케이스 기준 67%에서 100%, 케이스당 비용 0.8배. 다만 6케이스라 PROMISING으로만 나왔고, 21개 정도면 확정된다고 알려줬습니다.

한계도 있습니다. 판정이 엄격한 만큼 케이스가 적으면 "증명"까지 잘 안 갑니다. 실행 비용은 에이전트 자체 비용이 대부분이라, 질문 하나에 비싼 에이전트는 실험 비용도 커집니다. Bun 1.3.14 이상이 필요합니다.

LangChain, Strands, 순수 Python 함수, HTTP 엔드포인트, Claude Code/Codex, MCP 서버를 대상으로 쓸 수 있고, Claude Code 등에서 쓰도록 스킬과 MCP 서버도 같이 설치됩니다.

설치는 npm i -g hone-eval, 프로젝트에서 hone init 하면 됩니다.

github repo: https://github.com/kyu1204/hone