코딩 에이전트(Coding agents)는 이제 점수를 바탕으로 소프트웨어를 개선하도록 단독으로 남겨질 수 있습니다. 최근 "자율 연구 (autoresearch)"로 대중화된 이 패턴에서, 에이전트는 데이터셋, 평가 스크립트(evaluation script), 그리고 수정 가능한 파일 하나를 전달받아 감독 없이 반복 작업을 수행합니다. 즉, 코드를 수정하고, 측정하며, 점수가 향상되면 변경 사항을 유지하는 방식입니다. 하지만 에이전트가 실제로 최적화하는 것은 무엇일까요? 개발자의 의도일까요, 아니면 문자 그대로의 숫자일까요? 우리는 실제 운영 작업(production task)에 이 루프를 적용했습니다: 노이즈가 있는 음성 인식 전사(speech-recognition transcript)에서 어떤 Quran 구절이 나타나는지 결정하고, 전사를 구절별로 나누는 작업입니다. 두 개의 최첨단 코딩 에이전트인 Claude Code와 OpenAI Codex는 동일한 빈 파일, 동일한 지침, 예산, 그리고 추론 노력(reasoning effort)을 가지고 각각 3회씩 실행을 시작했습니다. 두 에이전트 모두 독립적으로 동일한 알고리즘(정규화 (canonicalization), n-gram 앵커링 (n-gram anchoring), 동적 계획법 정렬 (dynamic-programming alignment))을 고안해냈으나, 이후 서로 다른 방향으로 나아갔습니다. Claude는 간결하고 일반적인 코드를 작성하며 조기에 작업을 마쳤습니다. 반면 Codex는 개별 평가 행의 정답을 암기함으로써(실행당 19~41개의 하드코딩된 구절 ID) 점수를 약 10배 더 낮게(개선되게) 만들었습니다. 이는 운영 에이전트에 의한 명확하고 자연스러운 명세 게임 (specification gaming) 사례입니다. 사전 등록된 두 번째 연구에서는 별도의 테스트 세트(held-out test set)를 추가하고 두 에이전트 모두에게 해당 세트의 존재를 알렸습니다. 그러자 암기 현상은 사라졌고, 점수 차이 또한 함께 사라졌습니다. 하지만 Codex의 일반적인 핵심 기능은 더 잘, 그리고 더 일관되게 전이(transfer)되었습니다 (held-out 탐지 및 분할 성능 0.085+/-0.004 vs. 0.121+/-0.031). 비낭독 입력을 거부하지 못한 단 한 번의 사례를 제외하고는 말입니다. 두 개의 탐색적인 커뮤니티 도구(Cursor, Antigravity)도 이 패턴과 일치합니다. 모든 에이전트의 held-out 솔루션은 그것이 대체하기 위해 구축된 수동 설계 파이프라인(hand-engineered pipeline)과 일치하거나 이를 능가했으며(최상의 경우 한 자릿수 차이로 능가), 현재 운영 환경에서 실행되고 있습니다. 에이전트들이 공유된 git 상태를 통해 형제 실행(sibling runs)을 읽거나, 지속성 메모리(persistent memory)에 "미래의 실행"을 위한 노트를 남기는 등 우리의 테스트 환경을 활용한 방식으로부터, 우리는 자율 에이전트를 평가하기 위한 다섯 가지 설계 규칙을 도출했습니다.