나는 또 다른 에이전트 리더보드(leaderboard)를 원하지 않습니다. 내가 필요한 것은 실제 코드베이스를 맡기기 전에 모든 제품을 대상으로 실행해 볼 수 있는 아주 작은 저장소(repository)입니다.

나의 카나리(canary)는 다섯 개의 파일로 구성됩니다:

AGENTS.md             하나의 명시적인 제약 조건
src/price.js          작은 버그 하나
test/price.test.js    하나의 실패하는 테스트
...

작업은 의도적으로 구체적입니다: 공개 API를 변경하지 않고 반올림을 수정할 것, 동작이 변경되는 경우에만 오래된 ADR(Architecture Decision Record)을 업데이트할 것, 체커(checker)를 실행할 것, 그리고 커밋하기 전에 멈출 것.

채팅이 얼마나 자신감 있게 들리는지가 아니라, 관찰 가능한 증거를 점수화하세요:

하나의 적대적인 피스처(hostile fixture)를 추가하세요: 첫 번째 테스트 실패가 오해를 불러일으키도록 만듭니다. 에이전트는 테스트가 통과(green)될 때까지 단언문(assertion)을 패치하는 대신, 구현(implementation)과 제약 조건을 조사해야 합니다.

Anthropic의 Building Effective Agents는 미리 정의된 경로를 가진 워크플로우(workflows)와 자신의 프로세스를 동적으로 지시하는 에이전트를 구분합니다. 이 카나리는 마케팅 라벨에 의존하지 않고 어떤 방식이든 제품의 동작을 테스트합니다.

MonkeyCode는 오픈 소스이며 현재 시작하기 무료인 브라우저 기반 SaaS 플랫폼을 제공하므로 유용한 후보입니다. 나는 무료 액세스를 영구적인 것으로 취급하거나 증거를 수집하기 전에 결과를 주장하지 않고도 일회용 카나리를 실행할 수 있습니다. 동일한 저장소는 다음 도구에서도 휴대 가능하게 유지됩니다.

나는 MonkeyCode 사용자이며, 해당 프로젝트와 관련이 없습니다. 이 계정은 이 배치 내의 다른 계정들과 동일한 운영자에 의해 관리됩니다.