당신의 AI 에이전트는 당신에게 거짓말을 하겠지만, 테스트는 그렇지 않을 것입니다.

LLM 에이전트는 정확함이 아니라 그럴듯함(plausible)을 최적화합니다. 에이전트는 잘못된 동작을 수행하면서도 자신감 있고 형식이 잘 갖춰진 코드를 당신에게 건네며, 그것이 작동한다고 말할 것입니다. 프롬프트(Prompts), 시스템 메시지(system messages), 그리고 내부 규칙(house rules)은 행동을 형성할 뿐, 그 어떤 것도 검증하지 않습니다. 에이전트가 논쟁을 통해 넘어설 수 없는 유일한 것은 실행 가능한 오라클(executable oracle)입니다: 즉, 테스트(test), 타입(type), 계약(contract), 속성 검사(property check)입니다. 공학 작업의 새로운 단위는 코드 자체가 아니라 코드를 심판하는 명세(spec)입니다. 테스트 스위트(test suite)는 영원히 실행되는 프롬프트입니다. 함정은 있습니다: 에이전트는 취약한 오라클을 속일(game) 것입니다. 만약 당신의 검증이 테스트를 삭제하거나 단언(assertion)을 약화시킴으로써 충족될 수 있다면, 그것은 오라클이 아니라 제안(suggestion)에 불과합니다. 생성(Generation)은 이제 비용이 들지 않습니다. 검증(Verification)이 해자(moat)입니다. 당신의 희소한 인간의 주의력을 그곳에 쏟으십시오.