코딩 에이전트를 활용한 N-버전 프로그래밍 (N-Version Programming)

본 논문은 현대적인 AI 코딩 에이전트(coding agents) 환경에서 N-버전 프로그래밍(N-version programming)이라는 고전적인 개념을 재조명합니다. 기념비적인 Knight-Leveson 실험을 재검토하며, 에이전트 시스템, 모델, 그리고 구현 언어 간의 다양성이 다양한 실패 모드(failure modes)를 생성하는지 연구합니다. Knight-Leveson의 Launch Interceptor 프로그램 명세(specification)를 사용하여, 공유 오라클(oracle)과 1,000,000개의 무작위 테스트 입력 캠페인을 통해 48개의 에이전트 생성 구현체를 평가합니다. 결과는 Knight-Leveson의 발견과 마찬가지로 상당한 공통 모드 실패(common-mode failure)를 보여줍니다. 추가 분석 결과, 이러한 공동 발생 실패(co-occurring failures) 중 상당수는 명세가 특히 어렵거나 모호한 부분에서 기인함을 알 수 있습니다. 또한 우리는 코딩 에이전트의 다양성이 실질적인 이점을 제공한다는 것을 입증합니다. 다수결 투표(majority voting)를 적용한 3-버전 유닛의 경우, 평균 실패 횟수가 단일 버전의 387.44회에서 3중 버전(triples)의 130.99회로 감소하며, 11,844개의 N-버전 유닛은 관찰된 실패가 0건을 기록했습니다. 우리의 독창적인 연구 결과는 코딩 에이전트를 활용한 N-버전 프로그래밍이 유용한 엔지니어링 전략이라는 점을 보여주는 현재까지 가장 강력한 증거입니다.