소프트웨어 엔지니어링 작업을 해결하는 코딩 에이전트(coding agent)는 추론, 코드 편집, 테스트 실행 등을 위해 수십 단계를 소비하지만, 해당 에이전트가 작업 중인 프로그램에 대해 기저의 언어 모델(language model)이 내부적으로 무엇을 표현하고 있는지에 대해서는 알려진 바가 거의 없습니다. 본 연구에서는 코딩 에이전트 하에서의 언어 모델의 잔차 스트림(residual streams)이 진화하는 프로그램의 속성을 선형적으로 인코딩(encode)한다는 것을 보여줍니다. 은닉 상태(hidden states)에 대한 로지스틱 회귀 프로브(logistic-regression probe)를 사용하면 현재 코드가 파싱(parse)되는지, 테스트 스위트(test suite)를 통과하는지, 실패하는 테스트의 수를 줄이는지, 그리고 회귀(regressions)를 유발하는지를 디코딩(decode)할 수 있으며, 두 가지 모델과 두 가지 벤치마크에 대해 정확도(correctness) 측면에서 최대 0.83의 AUC에 도달했습니다. 우리의 두 번째 발견은 더욱 놀랍습니다. 이러한 표현(representations)은 에이전트 자신의 편집(edits)보다 앞서 나갑니다. 미래의 편집 결과(실제로 구현되어 디스크에 기록되기 전)를 예측하도록 훈련된 프로브는 약 25단계 앞서까지 우연 이상의 성능을 달성합니다. 우리는 이를 에이전트의 잠재적 프로그래밍 지평(latent programming horizon)이라고 부릅니다. 외부 타당성(external validity)의 증거로서, 우리는 프로브가 재학습 없이도 벤치마크 간에 전이(transfer)됨을 보여줍니다. 우리의 이러한 긍정적인 결과는 코딩 에이전트의 기계론적 해석 가능성(mechanistic interpretability)에 대한 더 많은 연구를 촉구합니다.