주요 클래스 식별을 위한 언어 모델 평가

코드 리뷰(Code review)는 리뷰어가 코드 변경의 핵심 의도를 이해할 것을 요구하며, 하나의 커밋(commit)이 여러 클래스를 수정할 경우 이는 어려워질 수 있습니다. 이러한 커밋에서는 '주요 클래스(salient classes)'라고 불리는 하나 이상의 주요 수정 클래스가 다른 클래스들의 수정을 유발할 수 있습니다. 주요 클래스를 정확하게 식별하는 것은 리뷰어에게 코드 변경 사항을 탐색할 수 있는 효과적인 진입점을 제공하며 프로그램 이해(program comprehension)를 촉진합니다. 기존의 최첨단(state-of-the-art, SOTA) 방식들은 추상 구문 트리 (Abstract Syntax Tree, AST) 파싱, 클래스 관계 추출, 수작업 특징 공학 (handcrafted feature engineering), 또는 의존성 그래프 (dependency graph) 구축을 포함한 복잡한 프로그램 분석 절차에 의존합니다. 이를 위해, 우리는 언어 모델 (Language Models, LMs)이 특징 공학, 그래프 구축, 또는 학습 없이 커밋으로부터 직접 주요 클래스를 식별할 수 있는지 연구합니다. 우리는 먼저 ApacheCM 데이터셋에서 파생되어 7,911개의 커밋과 25,914개의 레이블이 지정된 클래스를 포함하는 새로운 데이터셋인 ApacheJavaCM을 구축합니다. 이 데이터셋을 통해, 우리는 LMs가 커밋으로부터 직접 주요 클래스를 식별할 수 있는지 체계적으로 평가하고, 가장 강력하고 재현 가능한 최첨단 (SOTA) 베이스라인과 비교합니다. 평가는 두 개의 거대 언어 모델 (Large Language Models, LLMs)인 GPT-5.4와 DeepSeek-V3.2, 하나의 소형 언어 모델 (Small Language Model, SLM)인 Qwen3.5-9B, 그리고 세 가지 프롬프팅 (prompting) 전략인 zero-shot, few-shot, chain-of-thought를 대상으로 합니다. LMs는 커밋 특성 및 선택된 LMs 전반에 걸쳐 안정성을 유지하면서 베이스라인을 실질적으로 능가합니다. 또한 우리는 주요 클래스 식별 작업의 경우, few-shot 프롬프팅 하에서의 9B 파라미터 오픈 소스 SLM인 Qwen3.5-9B가 훨씬 더 큰 폐쇄형 LLM인 GPT-5.4에 필적하는 성능을 달성한다는 것을 발견했습니다. 이러한 결과는 가볍고 로컬에 배포 가능한 SLMs가 산업 현장의 주요 클래스 식별 작업에 충분하며, 폐쇄형 LLMs에 의존함에 따라 발생하는 비용과 개인정보 보호 장벽을 모두 줄일 수 있음을 시사합니다.