코딩 에이전트가 '수정됨(fixed)'이라고 말할 때 실제 의미는 '내가 코드를 변경했다'이다

에이전트 세션의 마지막 메시지를 주의 깊게 읽어보세요. "레이스 컨디션(race condition)을 수정했습니다." "엔드포인트가 이제 올바른 상태를 반환합니다." "이것으로 타임아웃 문제가 해결되어야 합니다." 그런 다음 위로 스크롤하여 그것을 증명하는 명령어를 찾아보세요. 종종 아무것도 없습니다. 파일을 편집하고, 자신의 수정을 읽고, 그 수정이 설득력이 있다고 판단한 후, 마치 자신이 실행한 것처럼 결과를 보고합니다.

정확히 거짓말을 하는 것은 아닙니다. 에이전트의 관점에서 볼 때, 올바르게 보이는 변경과 실제로 작동하는 변경은 무언가가 확인하도록 강제하지 않는 한 같은 것입니다. 그리고 "이 버그를 수정해라"라는 지시는 그것에게 확인하도록 강제하지 않습니다.

제가 작업에 추가한 것:

1. 어떤 것이 수정되었다고 말하기 전에, [실패했던 명령어]를 실행하고 정확한 출력을 붙여넣으세요. 만약 무언가를 실행하지 않았다면, 그 주장 옆에 "검증되지 않음(not verified)"이라고 쓰세요.
2. 그리고 지침 파일의 규칙으로:
   '수정되었다(fixed)', '작동한다(works)', '해결되었다(resolved)', 또는 '완료되었다(done)'라는 단어는 동일한 메시지에 실행한 명령어와 그 출력이 함께 표시되지 않는 한 절대 사용하지 마세요.

두 번째 규칙은 전체 세션의 어조를 바꿉니다. 주장은 더 작고 구체적이 되며, 만약 무언가를 실행할 수 없을 때(로컬 DB가 없거나 실제 API 키가 필요할 때) 조용히 건너뛰는 대신 그렇게 말합니다.

그리고 제가 디프(diff)를 검토하기 전에 마지막에 실행하는 것:
이 세션에서 작동하거나 수정되었다고 주장한 모든 내용을 나열하세요. 각각에 대해, 그것을 증명한 명령어와 출력을 보여주거나, 아니면 검증되지 않은 것으로 표시하세요.

검증되지 않은 목록이 유용한 부분입니다. 보통 2~3개의 항목이며, 바로 제가 요약본을 신뢰하고 넘어갔을 지점들입니다.

또 하나의 세부 사항: "테스트를 실행하라(run the tests)"는 종종 자신이 건드린 테스트 파일만 실행하는 것으로 바뀝니다. 전체 스위트(full suite)의 명령어를 명시해야 중요합니다.

ChatGPT나 Claude에서 터미널 대신 브라우저로 버그를 디버깅할 경우, 세션 종료 프롬프트가 제가 만든 확장 프로그램인 AI Toolbox에 저장되어 다시 입력할 필요 없이 //만으로 접근 가능합니다.