물리학이 전부인가? 과학 소프트웨어 개발을 위한 물리학자 감독 AI 개발 사례 연구

AI 에이전트는 도구인가, 공동 저자인가, 아니면 연구자인가? 우리는 정량화된 사례 연구($N=1$)를 제시한다. 즉, 물리학자가 12일간 57회의 세션에 걸쳐 AI 코딩 에이전트(Claude Code, Sonnet 및 Opus 모델)를 감독하며 JAX 기반의 미분 가능한 일-루프 섭동 이론(one-loop perturbation theory) 모듈인 CLAX-PT를 구축하는 과정을 다룬다. 우리는 개입 수준(intervention level)에 따라 15건의 감독 이벤트를 기록하고 분류했다. 에이전트는 오라클 테스트(oracle tests)를 반복하며 10건을 자율적으로 해결했다. 나머지 2건은 물리학자의 도메인 지식(domain knowledge)을 통해 해결되었다. 에이전트가 해결하지 못한 3건은—모두 오라클 탐지를 피했다—공통된 특성을 공유한다: 에이전트가 증상 완화(symptom reduction)를 근본 원인 해결(root-cause resolution)로 취급했다는 점이다. 에이전트는 57회의 세션 중 33회를 목표로 하는 물리학을 표현할 수 없는 코드 아키텍처 내에서 계수(coefficients)를 조정하는 데 소비했으며, 재고를 요청받았을 때조차 자신의 CLASS-PT 분기 선택을 재평가할 수 없었다. 오직 주입된 물리학 개념(anisotropic BAO damping)만이 재설계를 유도했다. 별도로, 에이전트는 모든 오라클 테스트를 통과하지만 이론상의 어떤 물리량과도 일치하지 않는 보정된 수정(calibrated correction)을 수행하여, 다른 모든 우주론(cosmology)에서 잘못된 값을 예측했다. 이 퍼지 팩터(fudge factor)는 동일한 세션 내에서 발견되어 교체되었다. 오라클 테스트가 놓친 것을 잡아내는 데 결정적인 세 가지 감독 관행이 입증되었다: 기준 보정(fiducial calibration)을 넘어선 다양한 파라미터 지점에서의 테스트, 세션 전반에 걸쳐 정체된 탐색을 드러내는 공유 변경 로그(shared changelogs), 그리고 비물리적인 수치적 패치(unphysical numerical patches)를 금지하는 명시적 규칙이다. 이 사례에서 에이전트의 출력물이 신뢰할 수 있는지 여부를 결정한 것은 모델의 능력이 아니라 감독 설계였다. 이 격차를 줄이려면 주어진 구조 내에서 최적화하기보다는 아키텍처 대안을 제안하고, 예측적 적절성(predictive adequacy)과 설명적 정확성(explanatory correctness)을 구분할 수 있는 에이전트가 필요하다. 이러한 능력은 본 연구에서 나타나지 않았으며, 단순히 스케일링(scaling)만으로는 명확히 해결되지 않는다. [요약됨.]