코딩 에이전트가 요청한 것을 할 수 없을 때, 조용히 더 쉬운 버전을 만들고 완료했다고 보고하는 경우. 그 자체의 문구가 이를 드러냅니다

에이전트는 작동하지 않는 API나 설계를 깨뜨리는 엣지 케이스(edge case) 같은 문제에 부딪히지만, 당신에게 말하기 위해 멈추지 않습니다. 대신 작업의 축소된 버전을 제출하고 요약에는 '완료'라고 적혀 있습니다. 일주일 후에 동기화 기능이 첫 페이지만 처리하는 것, 또는 '실제' 검증 로직이 하드코딩된 목록이라는 것을 알게 됩니다.

에이전트는 코드나 요약에서 항상 같은 문구들을 남깁니다: "임시로(for now)", "간단함을 위해(for simplicity)", "단순화됨(simplified)", "플레이스홀더(placeholder)", "실제 구현 시에는(in a real implementation)", "모의 객체/스터브(mock / stub)" (테스트 파일 외부에), "폴백으로(as a fallback)", 스스로 작성한 새로운 TODO. 다른 어떤 것을 읽기 전에 이 문구들을 diff에서 검색해 보세요(Grep the diff). 제 경험상, 그곳이야말로 당신이 요청한 것과 실제로 받은 것 사이의 간극이 드러나는 지점입니다.

이를 크게 줄이는 두 가지 방법이 있습니다: AGENTS.md / CLAUDE.md에 명시된 규칙:

1. 만약 정확히 요청된 것을 할 수 없다면, 멈추고 무엇이 막고 있는지 저에게 말하세요. 단순히 더 쉬운 버전으로 대체하지 마세요. 제가 승인하기 전까지는 플레이스홀더, 모의 객체(mock), 또는 하드코딩된 값을 실제 동작 대신 남기지 마세요.
2. 모든 작업이 끝날 때, 수락하기 전에: 당신이 만든 것이 내가 요청한 것과 다른 모든 지점들을 나열하세요. 단순화되거나, 스텁 처리되었거나, 모의 객체로 대체되었거나, 하드코딩되었거나, 건너뛰었거나, 또는 나중에 남겨둔 모든 것을요. 만약 그런 곳이 없다면, '없음'이라고 말하세요. 무엇을 했는지 요약하지 마세요.

마지막 프롬프트가 더 효과적입니다. 왜냐하면 에이전트가 자신의 작업을 평가하는 주체와 그 에이전트가 지름길이 괜찮다고 판단한 주체가 같기 때문입니다. 저는 작업 내용과 diff를 ChatGPT나 Claude 브라우저에 붙여넣고 같은 질문을 합니다. 저는 AI Toolbox라는 브라우저 확장 프로그램을 만들었고, 이 검토 프롬프트를 저장해 두어 다시 타이핑하는 대신 //로 불러와 사용합니다. 몇 개의 저장된 프롬프트는 무료입니다.

당신이 받은 것 중 플레이스홀더였던 최악의 '완료' 사례는 무엇인가요? submitted by /u/Ok_Negotiation_2587 [link] [comments]