LLM 기반 코드 생성에서의 결함 있는 작업 설명: 탐지 및 분석

대형 언어 모델 (Large Language Models) 은 널리 코드 생성에 사용되지만, 작업 설명 (task descriptions) 이 충분히 상세하고 잘 형성되어 있다는 암묵적인 전제에 의존합니다. 그러나 실제로는 사용자가 결함 있는 설명을 제공할 수 있으며, 이는 코드 정확성에 강력한 영향을 미칠 수 있습니다. 이 문제를 해결하기 위해 우리는 작은 모델 기반의 경량 분류기인 SpecValidator 를 개발했습니다. SpecValidator 는 파라미터 효율적 미세 조정 (parameter-efficiently finetuned) 을 통해 자동으로 작업 설명 결함을 탐지합니다. 우리는 Lexical Vagueness, Under-Specification, Syntax-Formatting 이라는 세 가지 유형의 결함에 대해 3 개의 벤치마크에서 평가했습니다. 이 벤치마크들은 다양한 구조와 복잡성을 가진 작업 설명을 포함하고 있습니다. 우리의 결과는 SpecValidator 가 F1 = 0.804 와 MCC = 0.745 의 결함 탐지 성능을 달성하여, GPT-5-mini (F1 = 0.469 와 MCC = 0.281) 와 Claude Sonnet 4 (F1 = 0.518 과 MCC = 0.359) 를 압도적으로 앞섰음을 보여줍니다. 아마도 더 중요한 것은, 우리의 분석이 SpecValidator 가 새로운 이슈로 일반화될 수 있으며, 벤치마크에서 사용된 원래 (실제) 설명에서 알려지지 않은 Under-Specification 결함을 탐지할 수 있음을 시사한다는 점입니다. 또한 우리의 결과는 LLM 의 작업 설명 결함에 대한 견고성 (robustness) 이 모델의 용량보다는 결함 유형과 작업 설명의 특성에 주로 의존하며, Under-Specification 결함이 가장 심각함을 보여줍니다. 우리는 더 풍부한 문맥적 기반 (contextual grounding) 을 가진 벤치마크, 예를 들어 LiveCodeBench 는 훨씬 더 큰 탄력성을 보인다는 점도 발견했습니다. 이는 신뢰할 수 있는 LLM 기반 코드 생성을 위해 구조화된 작업 설명의 중요성을 강조합니다.