코딩 에이전트(Coding agents)는 코드베이스 변환을 도울 수 있는 코드베이스 규모의 협업자로서 점점 더 많이 활동하고 있지만, 이러한 발전은 치명적인 약점을 드러냈습니다. 에이전트들은 종종 자신의 로컬 검증 루틴(local validation routines)을 과도하게 신뢰하며, 사용자가 실제로 중요하게 생각하는 시맨틱 계약(semantic contracts)을 위반하면서도 표면적인 검사(surface checks)를 통과하는 결과물에 대해 성공을 선언하곤 합니다. 이 문제는 코드베이스 변환에서 특히 심각한데, 기존의 평가는 주로 결과 중심적(outcome-driven)이어서 불안정하기 때문입니다. 즉, 두 구현체가 단일 포워드 손실(forward loss)과 같은 얕은 결과에서는 일치할 수 있지만, 그래디언트(gradients), 옵티마이저(optimizer) 동작, 또는 단기 훈련 역학(short-horizon training dynamics)에서는 서로 다를 수 있습니다.

우리는 변환을 고정된 동등성 계약(equivalence contract) 하에서의 전이(transfer)로 재정의하는 코드베이스 변환용 벤치마크인 T2J-Bench를 소개합니다. 고정된 검증기(fixed verifier)는 세 가지 순차적 단계인 Spec(인터페이스 허용 가능성), Numeric(포워드 출력, 손실, 그래디언트 및 목적 함수별 텐서), Behavioral(고정된 시드 하의 단기 훈련 역학)을 통해 소스 코드베이스와 변환된 코드베이스를 비교합니다. 355회의 블라인드 변환 시도 결과, 최상의 시스템은 Spec 통과율이 최대 91.1%에 달함에도 불구하고 전체 통과율은 26.728.9%에 불과했습니다. 토큰 예산(token-budget)을 4.7배 늘려도 통과율은 2.2배 증가에 그쳤으며, 모든 시스템은 고정된 평가기(fixed evaluator)와 비교했을 때 성공률을 66.697.8포인트 과대평가했습니다. 이는 실패의 원인이 제한된 예산이나 백본(backbone)의 강도보다는 계약과 일치하지 않는 자기 검증(self-validation)에서 기인함을 시사합니다.