과정으로서의 실패: CLI 코딩 에이전트 궤적 분석

요약

본 논문은 CLI 코딩 에이전트의 실패 궤적을 분석하는 대규모 경험적 연구를 제시합니다. 기존 연구가 최종 결과에만 초점을 맞춘 것과 달리, 본 연구는 실패의 발생(onset), 진화(evolution), 복구(recovery) 과정을 추적하는 프레임워크를 도입했습니다. 이를 통해 코딩 에이전트의 실패가 주로 인식론적 오류에서 기인하며 조기 개입이 중요함을 밝혀냈습니다.

핵심 포인트

• 실패를 최종 결과가 아닌 시간적 과정으로 분석함.
• CLI 코딩 에이전트 3,843개 궤적을 수집 및 분석하여 14가지 발견 도출.
• 코딩 에이전트 실패는 주로 인식론적 오류(epistemic errors)에 기인함.
• 신뢰성 향상을 위해 최종 평가보다 조기 검증과 개입이 필요함.