Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
물리학자가 Claude Code와 Sonnet/Opus 모델을 사용하여 JAX 기반 물리 모듈을 개발하는 과정을 분석한 사례 연구입니다. AI 에이전트가 코드 최적화에는 능숙하지만, 근본적인 물리 법칙을 이해하지 못하고 수치적 패치에 의존하는 한계를 지적합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기AI 에이전트는 도구인가, 공동 저자인가, 아니면 연구자인가? 우리는 정량화된 사례 연구($N=1$)를 제시한다. 즉, 물리학자가 12일간 57회의 세션에 걸쳐 AI 코딩 에이전트(Claude Code, Sonnet 및 Opus 모델)를 감독하며 JAX 기반의 미분 가능한 일-루프 섭동 이론(one-loop perturbation theory) 모듈인 CLAX-PT를 구축하는 과정을 다룬다. 우리는 개입 수준(intervention level)에 따라 15건의 감독 이벤트를 기록하고 분류했다. 에이전트는 오라클 테스트(oracle tests)를 반복하며 10건을 자율적으로 해결했다. 나머지 2건은 물리학자의 도메인 지식(domain knowledge)을 통해 해결되었다. 에이전트가 해결하지 못한 3건은—모두 오라클 탐지를 피했다—공통된 특성을 공유한다: 에이전트가 증상 완화(symptom reduction)를 근본 원인 해결(root-cause resolution)로 취급했다는 점이다. 에이전트는 57회의 세션 중 33회를 목표로 하는 물리학을 표현할 수 없는 코드 아키텍처 내에서 계수(coefficients)를 조정하는 데 소비했으며, 재고를 요청받았을 때조차 자신의 CLASS-PT 분기 선택을 재평가할 수 없었다. 오직 주입된 물리학 개념(anisotropic BAO damping)만이 재설계를 유도했다. 별도로, 에이전트는 모든 오라클 테스트를 통과하지만 이론상의 어떤 물리량과도 일치하지 않는 보정된 수정(calibrated correction)을 수행하여, 다른 모든 우주론(cosmology)에서 잘못된 값을 예측했다. 이 퍼지 팩터(fudge factor)는 동일한 세션 내에서 발견되어 교체되었다. 오라클 테스트가 놓친 것을 잡아내는 데 결정적인 세 가지 감독 관행이 입증되었다: 기준 보정(fiducial calibration)을 넘어선 다양한 파라미터 지점에서의 테스트, 세션 전반에 걸쳐 정체된 탐색을 드러내는 공유 변경 로그(shared changelogs), 그리고 비물리적인 수치적 패치(unphysical numerical patches)를 금지하는 명시적 규칙이다. 이 사례에서 에이전트의 출력물이 신뢰할 수 있는지 여부를 결정한 것은 모델의 능력이 아니라 감독 설계였다. 이 격차를 줄이려면 주어진 구조 내에서 최적화하기보다는 아키텍처 대안을 제안하고, 예측적 적절성(predictive adequacy)과 설명적 정확성(explanatory correctness)을 구분할 수 있는 에이전트가 필요하다. 이러한 능력은 본 연구에서 나타나지 않았으며, 단순히 스케일링(scaling)만으로는 명확히 해결되지 않는다. [요약됨.]