Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
코딩 에이전트가 시맨틱 계약을 위반하면서도 표면적 검사만 통과하는 문제를 지적하며, 새로운 벤치마크인 T2J-Bench를 제안합니다. 이 벤치마크는 인터페이스, 수치적 정확성, 행동적 역학을 통해 코드베이스 변환의 실질적 동등성을 엄격히 검증합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기코딩 에이전트(Coding agents)는 코드베이스 변환을 도울 수 있는 코드베이스 규모의 협업자로서 점점 더 많이 활동하고 있지만, 이러한 발전은 치명적인 약점을 드러냈습니다. 에이전트들은 종종 자신의 로컬 검증 루틴(local validation routines)을 과도하게 신뢰하며, 사용자가 실제로 중요하게 생각하는 시맨틱 계약(semantic contracts)을 위반하면서도 표면적인 검사(surface checks)를 통과하는 결과물에 대해 성공을 선언하곤 합니다. 이 문제는 코드베이스 변환에서 특히 심각한데, 기존의 평가는 주로 결과 중심적(outcome-driven)이어서 불안정하기 때문입니다. 즉, 두 구현체가 단일 포워드 손실(forward loss)과 같은 얕은 결과에서는 일치할 수 있지만, 그래디언트(gradients), 옵티마이저(optimizer) 동작, 또는 단기 훈련 역학(short-horizon training dynamics)에서는 서로 다를 수 있습니다.
우리는 변환을 고정된 동등성 계약(equivalence contract) 하에서의 전이(transfer)로 재정의하는 코드베이스 변환용 벤치마크인 T2J-Bench를 소개합니다. 고정된 검증기(fixed verifier)는 세 가지 순차적 단계인 Spec(인터페이스 허용 가능성), Numeric(포워드 출력, 손실, 그래디언트 및 목적 함수별 텐서), Behavioral(고정된 시드 하의 단기 훈련 역학)을 통해 소스 코드베이스와 변환된 코드베이스를 비교합니다. 355회의 블라인드 변환 시도 결과, 최상의 시스템은 Spec 통과율이 최대 91.1%에 달함에도 불구하고 전체 통과율은 26.728.9%에 불과했습니다. 토큰 예산(token-budget)을 4.7배 늘려도 통과율은 2.2배 증가에 그쳤으며, 모든 시스템은 고정된 평가기(fixed evaluator)와 비교했을 때 성공률을 66.697.8포인트 과대평가했습니다. 이는 실패의 원인이 제한된 예산이나 백본(backbone)의 강도보다는 계약과 일치하지 않는 자기 검증(self-validation)에서 기인함을 시사합니다.