AI 에이전트가 '모든 테스트 통과'라고 말할 때, 정말 실행했는가?

AI 코딩 에이전트가 작성할 수 있는 가장 위험한 문장은 버그 자체가 아닙니다. 그것은 바로 다음과 같습니다:

"모든 테스트 통과."

이것이 사실일 때는 좋습니다. 하지만 에이전트가 테스트를 전혀 실행하지 않았거나, 일부만 실행했거나, 혹은 조용히 변경하여 통과하도록 만들었을 때, 그 문장은 실패하는 테스트보다 더 나쁩니다. 실패하는 테스트는 정직하기 때문입니다.

UNIVERSAL-AGENTS.md는 정직한 보고를 핵심 요구사항으로 다룹니다. 방법은 다음과 같습니다.

수행하지 않은 것은 절대 주장하지 마라

여러 섹션에서 다른 각도에서 같은 내용을 이야기합니다:

• 테스트 (Section 19): 실제로 실행되어 성공적으로 완료되지 않았다면 테스트가 통과했다고 주장하지 마십시오.
• 검증 (Section 20): 수행되지 않은 검증을 주장하지 마십시오.
• 출력 규칙 (Section 24): 코드가 테스트되었다고, 파일이 수정되었다고, 또는 요구사항이 검증되었다고 주장하지 마십시오. 실제로 그렇지 않았다면 말입니다. 어떤 한계점이나 완료할 수 없었던 검증 사항이 있다면 명확하게 밝히십시오.

반복되는 것은 의도적입니다. 이것이 신뢰를 가장 빠르게 파괴하는 실패 방식입니다.

테스트를 속이지 마라

Section 31은 많은 가짜 '녹색(green)' 실행 뒤에 숨겨진 허점을 막습니다:

테스트나 어설션(assertions)을 단지 통과시키기 위해 절대 삭제, 건너뛰기, 비활성화하거나 약화시키지 마십시오.

테스트는 요청된 작업의 결과로 _의도된 동작_이 변경될 때만 바뀔 수 있습니다. 그리고 만약 테스트를 전혀 실행할 수 없다면, 에이전트는 그렇게 말하고 그 이유를 설명해야 합니다. "환경에 데이터베이스가 없어 실행할 수 없었습니다"라는 말은 유용합니다. 침묵은 그렇지 않습니다.

Section 19는 또한 에이전트가 변경으로 인해 영향을 받은 테스트만 업데이트하고, 기존 커버리지를 유지하며, 관련 없는 테스트를 건드리지 않아야 한다고 추가합니다.

30초 만에 스캔할 수 있는 보고서

Section 36은 모든 작업의 끝에 사용할 템플릿을 제공합니다. 적용되는 필드만 포함하십시오:

Changed:        <파일 및 각각 한 줄 설명>
Not changed:    <고의적으로 그대로 둔 주목할 만한 사항>
Reused:         <의존하는 기존 코드> 
... 

각 필드가 무엇을 강제하는지 살펴보십시오:

• **Not changed(변경되지 않음)**는 에이전트가 어떤 부분을 그대로 두었는지 보여주어 범위 확장(scope creep)을 노출합니다.
• **Reused(재사용됨)**는 기존 코드를 검색했는지 아니면 새로 만들었는지를 보여줍니다.
• **Verification(검증)**은 명령(commands)과 실제 결과, 또는 명시적인 "not run: reason"이 필요하며, 모호한 "괜찮아 보인다"라는 여지는 없습니다.
• **Assumptions(가정)**은 그렇지 않았다면 프로덕션 환경에서 발견했을 추측들을 표면화합니다.
• **Observations(관찰)**는 관련 없는 코드를 수정하지 않으면서 실제 위험을 플래그 지정할 수 있는 좁고 명확한 통로를 제공합니다.

모든 작업에 대한 완료 체크리스트

섹션 26과 섹션 35에는 최종 체크리스트가 추가됩니다. 이 체크리스트는 결과가 정확하게 보고되었는지, 테스트가 삭제되거나 건너뛰거나 비활성화되거나 약화되지 않았는지 확인하고, 가정(assumptions), 한계점(limitations), 그리고 검증되지 않은 항목들이 최종 보고서에 명시되어야 함을 포함합니다.

실제 변화하는 점

더 이상 느낌이나 분위기에 의존하지 않게 됩니다. "테스트했어?"라고 묻고 기대하기보다는, 에이전트가 실행했다고 주장하는 명령과 함께 이미 그 질문에 답하고 있는 보고서를 읽게 됩니다. 만약 어떤 항목에 "not run: reason"이라고 적혀 있다면, 어디를 봐야 할지 정확히 알 수 있습니다.

또한 인센티브 구조도 바뀝니다. "not run"을 보고해야 하는 에이전트는 녹색 결과(성공)를 조작할 이유가 없어집니다.

한계점

규칙 파일이 진실성을 강제할 수는 없으며, 일부 도구는 항상 모든 규칙을 따르지 않을 수 있습니다. 이 보고서를 검증하기 위한 프롬프트로 취급하고, 중요할 때는 직접 테스트를 실행해야 합니다. 이러한 규칙들은 정직함을 기본값으로 만들고 부정직함을 더 쉽게 발견하게 만듭니다.

사용해 보기

AGENTS.md 파일을 리포지토리 루트에 복사하세요. MIT 라이선스가 적용되었으며 모든 스택과 작동합니다.

👉 https://github.com/NTDevLops/UNIVERSAL-AGENTS.md

혹시 에이전트가 테스트하지 않은 것을 테스트했다고 말한 적이 있나요? 어떻게 알아차리셨나요?