A-ProS: 멀티 모델 피드백을 통한 신뢰할 수 있는 자율 프로그래밍을 향하여

대규모 언어 모델 (LLMs)은 자동화된 코드 생성 분야에서 강력한 잠재력을 보여주고 있지만, 실행 피드백 (execution feedback)을 사용하여 솔루션을 반복적으로 개선하는 능력은 아직 충분히 탐구되지 않았습니다. 알고리즘적 추론 (algorithmic reasoning), 엄격한 계산 제약 조건 하에서의 정밀한 구현, 그리고 엄격한 평가를 통한 완전한 기능적 정확성을 요구하는 알고리즘 문제 해결 (competitive programming)은 이러한 연구를 위한 이상적인 테스트베드를 제공합니다. 본 논문에서는 솔루션 생성과 전문적인 디버깅 (debugging)을 분리하는 하이브리드 멀티 모델 피드백 프레임워크를 통해 알고리즘 문제를 해결하는 자율 AI 에이전트인 A-ProS를 제안합니다. A-ProS는 2 x 3 요인 설계 (factorial design) 하에서 ChatGPT 기반 생성기 (GPT-4 및 GPT-5)를 세 가지 디버깅 비평가 (debugging critics)인 Codestral-2508, Llama-3.3-70B, DeepSeek-R1과 결합합니다. 우리는 ICPC World Finals (2011-2024) 및 Codeforces (레이팅 1200-1800)의 367개 문제를 대상으로 6가지 워크플로우를 평가했습니다. 결과에 따르면 GPT-5 워크플로우는 초기 정답 수 39개에서 3회의 개선 라운드 후 85-90개로 향상되었으며, GPT-4는 15개에서 31-38개로 향상되었습니다. 47개 문제를 대상으로 한 통제된 절제 연구 (ablation study) 결과, 상태 유지 개선 (stateful refinement) 방식이 상태 비유지 (stateless) 방식보다 8.5-10.6 퍼센트 포인트 더 높은 성능을 보였으며, 반복적인 실패를 최대 3.5배까지 줄였습니다. 베이스라인 에이전트 루프 (baseline agent loops)와 비교했을 때, A-ProS는 2배 이상의 더 큰 이득을 달성하였으며, 이는 신뢰할 수 있는 자율 프로그램 합성 (autonomous program synthesis)을 위해 지속적인 컨텍스트 (persistent context)와 멀티 모델 피드백이 중요하다는 점을 강조합니다.