PreMaQ: 생성 전 대규모 언어 모델(LLM) 코드의 유지보수성 관련 품질 예측

대규모 언어 모델(LLMs)이 코드 생성 능력을 점점 더 갖추게 되면서, 개발 과정에서 생성된 코드를 채택하려면 기능적 정확성뿐만 아니라 유지보수성 관련 품질도 평가해야 합니다. 만약 이러한 품질을 생성 전에 추정할 수 있다면, 개발자들은 저품질 코드를 생성하고, 검토하고, 폐기하는 비용을 피할 수 있습니다. 이전 연구에서는 LLM이 생성한 코드의 기능적 정확성을 미리 예측할 수 있음을 보여주었지만, 유지보수성 관련 품질 역시 유사하게 예측 가능한지는 명확하지 않습니다. 우리는 Pre-Generation Maintainability-Related Quality Prediction (PreMaQ)를 소개합니다. 이는 생성 전에 LLM의 내부 표현으로부터 생성된 코드의 Code Smell Score (CSS)와 Maintainability Index (MI)를 예측합니다. 우리의 평가는 네 가지 오픈 웨이트(open-weight) LLM과 총 2,695개의 태스크로 구성된 네 가지 Python 코드 생성 벤치마크를 다룹니다. 우리의 결과는 예측된 CSS와 MI가 모든 16개 모델-벤치마크 조합에서 관찰된 값과 일관되게 상관관계가 있음을 보여주었으며, 각각 평균 스피어만 순위 상관계수(mean Spearman rank correlations) 0.57과 0.65를 달성했습니다. 모델 선택에 사용했을 때, PreMaQ는 여러 모델이 기능적으로 정확한 코드를 생성하는 태스크에서 무작위 선택 대비 이상적인 유지보수 기반 선택기가 달성할 수 있는 유지보수성 관련 품질 개선의 59.5%를 달성합니다. PreMaQ와 프롬프트 임베딩(prompt embeddings)의 예측을 결합하면 이 비율이 60.7%로 증가하며, 이는 두 신호가 상호 보완적임을 나타냅니다. 이러한 발견들은 PreMaQ가 LLM이 생성한 코드의 유지보수성 관련 품질을 예측하고 개선하는 데 사용될 수 있음을 시사합니다.