과정으로서의 실패: CLI 코딩 에이전트 궤적 분석
요약
본 논문은 CLI 코딩 에이전트의 실패 궤적을 분석하는 대규모 경험적 연구를 제시합니다. 기존 연구가 최종 결과에만 초점을 맞춘 것과 달리, 본 연구는 실패의 발생(onset), 진화(evolution), 복구(recovery) 과정을 추적하는 프레임워크를 도입했습니다. 이를 통해 코딩 에이전트의 실패가 주로 인식론적 오류에서 기인하며 조기 개입이 중요함을 밝혀냈습니다.
핵심 포인트
- 실패를 최종 결과가 아닌 시간적 과정으로 분석함.
- CLI 코딩 에이전트 3,843개 궤적을 수집 및 분석하여 14가지 발견 도출.
- 코딩 에이전트 실패는 주로 인식론적 오류(epistemic errors)에 기인함.
- 신뢰성 향상을 위해 최종 평가보다 조기 검증과 개입이 필요함.
대규모 언어 모델(LLM) 코딩 에이전트는 터미널 기반 환경에서 소프트웨어 엔지니어링 작업을 자율적으로 수행하기 위해 점점 더 많이 배포되고 있으며, 이는 이들의 신뢰성을 커지는 관심사로 만들고 있습니다. 기존의 경험적 연구들은 코딩 에이전트가 왜 실패하는지를 조사하지만, 대부분 실패를 시간적 과정이라기보다는 최종 결과로 취급하여, 실패가 어떻게 발생하고, 진화하며, 복구 불가능해지는지에 대한 통찰을 제공하기에는 제한적입니다. 본 논문은 CLI 코딩 에이전트의 실패 궤적에 대한 최초의 대규모 경험적 연구를 제시하며, 실행 궤적 전반에 걸쳐 실패의 발생(onset), 진화(evolution), 그리고 복구(recovery)를 통해 실패를 분석하는 과정 중심의 프레임워크를 도입합니다. 우리는 먼저 Terminal-Bench에서 세 가지 코딩 에이전트 스캐폴드(OpenHands, MiniSWE, Terminus2)에 걸쳐 일곱 개의 최첨단 모델이 생성한 3,843개의 실행 궤적을 수집하고, 이를 신중하게 필터링하여 수동 주석 처리를 위한 1,794개의 완전하고 유효한 궤적(63,000개 이상의 실행 단계)을 얻었으며, 이로부터 실패 발생, 근본 원인, 복구, 그리고 시스템 간 일관성을 아우르는 14가지 발견 사항을 도출했습니다. 우리의 연구 결과는 코딩 에이전트의 실패가 주로 인식론적 오류(epistemic errors)에 의해 주도되며, 일반적으로 처음 몇 단계의 실행 내에서 시작하고, 종종 복구가 더 이상 불가능해질 때까지 숨겨진 상태로 유지된다는 것을 보여줍니다. 이는 코딩 에이전트의 신뢰성 향상을 위해 최종 결과 평가에만 의존하기보다는 조기 검증과 개입이 필요함을 시사합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기