AI가 생성한 코드는 준비되기 훨씬 전부터 완성된 것처럼 들릴 수 있습니다. “테스트 통과”와 같은 메시지는 판결이 아니라 주장일 뿐입니다. 결과물을 받아들이기 전에, 더 유용한 질문을 던지세요. 요청된 작업이 완료되었다는 주장을 실제로 뒷받침하는 증거는 무엇인가요?

'테스트 통과'가 끝 지점이 아닌 이유

통과한 테스트는 실제일지라도 여전히 불완전할 수 있습니다. 좁은 보조 기능만 다루거나, 보고된 실패를 건너뛰거나, 오래된 출력을 사용하거나, 요청된 변경 사항과 동일하기보다는 인접한 동작을 테스트할 수 있습니다. 녹색 결과가 어떤 파일이 변경되었는지, 관련 명령이 실행되었는지, 또는 출력이 현재 작업에 속하는지 알려주지는 않습니다.

목표는 모든 보고서를 불신하는 것이 아닙니다. 그저 그럴듯한 진술과 뒷받침되는 진술을 분리하는 것입니다.

주장 → 증거 → 판결 확인 사용하기

간단한 검토 루프가 이러한 분리를 실용적으로 만듭니다:

1. 주장 (Claim): 완료 진술을 정확하게 작성합니다. 예를 들어: “비밀번호 재설정 리디렉션이 이제 사람들을 로그인 페이지로 돌려보내고, 회귀 테스트도 통과합니다.”
2. 증거 (Evidence): 변경된 파일 목록, diff 요약, 정확한 테스트 명령, 테스트 출력, 그리고 목표에 중요한 모든 수용 확인(acceptance checks)을 모읍니다.
3. 확인 (Check): 증거가 최신인지, 관련성이 있는지, 완전한지, 주장과 일관적인지 질문합니다.
4. 판결 (Verdict): 주장을 입증됨(PROVEN), 미입증됨(UNPROVEN), 또는 **차단됨(BLOCKED)**으로 표시합니다. “미입증됨”은 거짓을 의미하지 않습니다. 아직 받아들이기에는 사용 가능한 기록이 충분하지하다는 것을 의미합니다.

이렇게 하면 검토에 초점을 맞출 수 있습니다. 확신에 대해 논쟁하는 대신, 다음 누락된 증거 조각을 식별할 수 있습니다.

완료 주장을 받아들이기 전에 검사할 것들

변경된 파일 (Changed files)

변경 파일 목록은 보고된 작업이 예상 영역을 건드렸는지 알려줍니다. 또한 범위 이탈(scope drift)도 드러낼 수 있습니다. 사소한 수정이 예기치 않게 배포 설정, 관련 없는 종속성 또는 인증 코드를 변경하는 경우 더 자세히 살펴볼 가치가 있습니다.

테스트 출력 (Test output)

테스트 출력 (Test output)

유용한 테스트 증거에는 실행된 명령어와 그 결과, 그리고 이를 현재 변경 사항과 연결할 수 있는 충분한 맥락이 포함되어야 합니다. “모든 테스트가 통과했습니다”라는 문구는 특정 명령어와 그 출력을 제시하는 것보다 유용성이 떨어집니다. 가장 강력한 증거는 어떤 시나리오가 실행되었는지도 명확히 보여줍니다.

누락된 증거 (Missing evidence)

누락된 증거 자체가 때로는 전체 이야기입니다. 만약 보고서에서 브라우저 흐름이 수정되었다고 주장하지만 단위 테스트만 제공한다면, 관련 엔드투엔드(end-to-end) 증거는 여전히 누락되어 있습니다. 또한, 보고서가 회귀(regression)가 없다고 주장하더라도 포커스된 단일 테스트만 실행되었다면, 더 광범위한 커버리지가 아직 입증되지 않았을 수 있습니다.

모순되는 증거 (Contradictory evidence)

평균화하여 무시하기보다는 충돌하는 부분을 찾아보세요. 실패한 로그 옆의 성공 메시지, 변경 사항이 없다고 주장하면서도 diff가 존재하는 경우, 또는 최신 편집 이전의 테스트 출력은 모순이 해결될 때까지 판결을 PROVEN에서 멀어지게 해야 합니다.

간단한 예시 (A small example)

어떤 어시스턴트가 “비밀번호 재설정 리디렉션(password-reset redirect)이 수정되었고 테스트가 통과했습니다”라고 보고한다고 상상해 봅시다. 제공된 기록에는 URL 구성에 대한 단위 테스트 하나만 포함되어 있지만, 변경된 파일 목록도 없고, 브라우저 또는 라우트 테스트도 없으며, 재설정 흐름에 대한 출력물도 없습니다.

이 경우 올바른 판결은 UNPROVEN입니다. 이는 수정 사항이 틀렸다는 의미가 아닙니다. 단지 사용 가능한 증거만으로는 전체 완료 주장을 받아들이기에 아직 충분하지 않다는 의미일 뿐입니다. 다음 조치는 명확합니다. 변경된 파일들을 제공하고, 재설정 흐름 자체를 실행하는 테스트를 수행해야 합니다.

증거는 사람이 다음에 무엇을 검증할지 결정하도록 돕는다 (Evidence helps humans decide what to verify next)

증거 확인은 엔지니어링 판단을 대체할 수 없습니다. 이는 리뷰어가 무엇이 뒷받침되는지, 무엇이 누락되었는지, 그리고 보고서와 충돌하는지를 파악하는 데 도움을 줍니다. 따라서 전체 작업을 다시 여는 대신, 좁고 구체적인 후속 조치를 요청하기가 더 쉬워집니다.

한 가지 중요한 제한 사항이 있습니다. 증거 패킷을 검토하는 도구는 명령어를 재실행하거나 사용자가 제공한 테스트 출력을 독립적으로 검증하지 않습니다. 로그를 정리하고 이의를 제기할 수는 있지만, 보고서에 붙여넣어졌다는 이유만으로 신뢰할 수 있게 되는 것은 아닙니다. 위험도가 높은 경우, 여전히 통제된 환경에서 결과를 재현하는 것이 올바른 다음 단계일 수 있습니다.

가벼운 증거 확인부터 시작하기

납품을 승인하기 전에 완료 주장을 체계적으로 표시하고 싶다면, 무료 Auditor를 사용해 보세요. 이 도구는 검증되지 않은 기록이 완성된 결과인 것처럼 가장하지 않으면서, 근거 없는 “완료” 진술, 누락된 증명, 모순점을 찾아내도록 설계되었습니다.

무료 AI Completion Evidence Auditor Lite 받기:
[https://frankster8205.gumroad.com/l/ai-completion-evidence-auditor-lite?src=devto_us_article1_v1]