LLM 기반 코드 생성에서의 결함 있는 작업 설명: 탐지 및 분석

요약

본 논문은 대형 언어 모델(LLM)이 코드 생성 시 사용자가 제공하는 '작업 설명'의 결함에 취약하다는 문제를 다루고, 이를 해결하기 위해 경량 분류기인 SpecValidator를 개발했습니다. SpecValidator는 파라미터 효율적 미세 조정을 통해 Lexical Vagueness, Under-Specification, Syntax-Formatting 세 가지 유형의 작업 설명 결함을 자동으로 탐지합니다. 실험 결과, SpecValidator는 기존 대형 모델들(GPT-5-mini, Claude Sonnet 4)보다 훨씬 높은 성능을 보여주었으며, 이는 LLM 기반 코드 생성의 신뢰성을 높이는 데 중요한 기여를 합니다.

핵심 포인트

• LLM은 작업 설명의 품질에 크게 의존하며, 결함 있는 설명은 코드 정확성에 심각한 영향을 미친다.
• SpecValidator는 경량 분류기로 개발되어 파라미터 효율적 방식으로 다양한 유형의 작업 설명 결함을 탐지한다.
• SpecValidator는 기존 대형 모델들보다 월등히 높은 F1 및 MCC 점수로 결함 탐지 성능을 입증했다.
• 코드 생성의 견고성은 모델 용량보다는 작업 설명 자체의 구조화된 특성과 결함 유형에 더 크게 의존한다.
• Under-Specification 결함이 가장 심각하며, 풍부한 문맥적 기반을 가진 벤치마크가 LLM의 탄력성을 높이는 데 효과적이다.