LLM 기반 프로그램 복구의 실험 설정: 입력, 도구 접근, 피드백 및 검증에 대한 연구

요약

본 논문은 LLM 기반 자동화된 프로그램 복구(APR) 시스템의 평가에 필요한 실험 설정을 명시적으로 지정하는 프레임워크를 제시합니다. 기존 벤치마크만으로는 실제 수행된 복구 작업을 완전히 설명할 수 없기 때문에, 작업 단위, 도구 접근, 피드백 등 다양한 요소를 특성화하여 재현성을 높이고 비교의 범위를 명확히 하는 것이 목표입니다.

핵심 포인트

• APR 시스템 평가는 벤치마크만으로는 불충분하며, 실험 설정 지정이 필수적이다.
• 제안된 프레임워크는 작업 단위, 도구 접근, 피드백 등 복잡한 요소를 특성화한다.
• 재현성 향상과 시스템 간 공정한 비교를 위해 기계가 읽을 수 있는 스키마 도입이 필요하다.