실패에서 통과로: LLM 코드 생성(Code Generation)을 위한 자연어 프롬프트 최적화 규칙의 진화

요약

LLM의 코드 생성 성능을 높이기 위해 자연어 프롬프트 최적화 규칙을 진화시키는 탐색 기반 접근 방식인 DUALFIX를 제안합니다. 이 방식은 실행 피드백과 결합하여 명세 및 구현 수준의 오류를 해결하며, 모델 간 전이 가능성이 뛰어납니다.

핵심 포인트

• 프롬프트 변환 규칙을 진화시켜 코드 생성 성능을 개선하는 DUALFIX 제안
• 실행 피드백만으로는 해결하기 어려운 실패 사례의 12-17%를 추가 해결
• Self-Fix 대비 최대 3-5배 높은 실패 복구 성능 입증
• 한 모델에서 학습된 규칙이 다른 모델로 제로샷 전이 가능함 확인