모델을 새로운 것으로 교체했을 때, 답변을 몇 개 읽어보고 "괜찮아 보이네"라며 넘어가고 계시지는 않나요? 저는 그것 때문에 큰 코를 다쳤습니다.

에이전트의 모델을 3분의 1 크기의 모델로 교체하여 테스트했을 때, 답변은 모두 그럴싸해 보였지만, 내부적으로는 cancel_subscription 도구 호출(tool call)이 사라져 있었습니다. 에이전트는 계속해서 "해지가 완료되었습니다"라고 말하고 있었습니다. 텍스트의 diff(차이 분석)로는 이것을 찾아낼 수 없습니다. 말은 맞았지만, 동작이 망가져 있었기 때문입니다.

그래서 whatbroke라는 CLI를 만들었습니다. 두 개의 실행 트레이스(trace)를 비교하여 어떤 도구 호출이 사라졌는지, 인자(argument)가 어떻게 변했는지, 비용과 레이턴시(latency)가 얼마나 변했는지, 최종 출력이 어떻게 변했는지를 보고합니다.

리포지토리: https://github.com/arthi-arumugam-git/whatbroke

npm install -g whatbroke-cli

npx로 바로 실행할 수도 있습니다.

• 변경 전의 에이전트로 트레이스를 기록한다
• 무언가를 변경한다 (모델, 프롬프트, 프레임워크 버전 등 무엇이든)
• 동일한 시나리오로 다시 한번 기록한다
• diff를 추출한다

whatbroke diff before.jsonl after.jsonl

트레이스 기록은 프록시(proxy)를 사용하는 것이 가장 간편합니다. 코드 변경이 필요 없습니다.

whatbroke record --out traces/current.jsonl

OPENAI_BASE_URL=http://127.0.0.1:4141/v1 node my-agent.js
# 또는
ANTHROPIC_BASE_URL=http://127.0.0.1:4141 node my-agent.js

LLM 호출, 도구 호출, 최종 출력이 모두 JSONL에 기록됩니다. 스트리밍(streaming)도 그대로 통과합니다.

breaking이 발생하면 종료 코드(exit code) 1이 되므로, 그대로 CI에 넣을 수 있습니다.

- run: node run-agent-suite.js --out traces/current.jsonl
- run: npx whatbroke-cli diff traces/baseline.jsonl traces/current.jsonl --md >> "$GITHUB_STEP_SUMMARY"

동일한 시나리오를 각각 3회씩 기록하고, run id에 #1, #2, #3을 붙이면, whatbroke가 모든 조합을 비교하여 각 검출 사항에 발생률을 부여합니다.

! issue_refund called with different args (amount) (6/9 run pairs)

변경 전의 샘플들 사이에서도 발생하는 변동은 "원래부터 플래키(flaky)"