실행할 것인가 말 것인가: LLM 기반 프로그램 수정(Program Repair)에서 코드 실행의 비용 효율성 분석

요약

LLM 기반 프로그램 수정(Program Repair) 과정에서 코드 실행이 미치는 비용 효율성을 분석한 연구입니다. SWE-bench 데이터를 통해 실행 빈도와 성공률의 관계를 분석하고, 실행 제한이 성능에 미치는 영향과 비용 절감 가능성을 제시합니다.

핵심 포인트

• LLM 에이전트는 작업당 평균 8.8회의 테스트 실행을 수행함
• 실행 제한은 SOTA 모델의 해결률에 통계적으로 유의미한 영향을 주지 않음
• 코드 실행 금지 시 토큰 및 실제 시간 비용을 크게 절감할 수 있음
• 실행은 무분별한 적용 대신 비용-편익 트레이드오프를 고려해야 하는 리소스임