A-ProS: 멀티 모델 피드백을 통한 신뢰할 수 있는 자율 프로그래밍을 향하여

요약

A-ProS는 솔루션 생성과 디버깅을 분리하여 알고리즘 문제를 해결하는 하이브리드 멀티 모델 피드백 프레임워크입니다. GPT-4/GPT-5 생성기와 Codestral, Llama-3.3, DeepSeek-R1 비평가를 결합하여 실행 피드백을 통해 코드를 반복적으로 개선합니다. 실험 결과, 상태 유지(stateful) 방식과 멀티 모델 피드백을 통해 기존 베이스라인 대비 2배 이상의 성능 향상을 달성했습니다.

핵심 포인트

• 솔루션 생성과 전문적인 디버깅을 분리하는 하이브리드 멀티 모델 피드백 구조 제안
• 상태 유지(stateful) 개선 방식이 상태 비유지 방식보다 성능 면에서 8.5-10.6%p 우세
• GPT-5와 다양한 디버깅 비평가 조합을 통해 초기 정답 수를 대폭 향상
• 지속적인 컨텍스트(persistent context)와 멀티 모델 피드백이 자율 프로그래밍의 핵심 요소임을 입증