요약을 넘어: Large Language Models를 이용한 코드 변경 사항의 구조 인식 레이블링

코드 리뷰 (Code review)는 소프트웨어 공학에서 매우 중요한 관행이지만, 현대 프로젝트에서 코드 패치 (code patches)의 규모와 빈도가 증가하고 AI 코드 어시스턴트 (AI code assistants)가 널리 도입됨에 따라 수동 리뷰는 점점 더 어려워지고 있습니다. 이름 변경 (renames), 이동 (moves), 또는 로직 수정 (logic modifications)과 같이 패치 내의 변경 유형을 식별하는 것은 우선순위 지정, 필터링 및 자동화를 가능하게 하여 리뷰 효율성을 실질적으로 향상시킬 수 있습니다. 그러나 기존의 LLM 기반 코드 리뷰 접근 방식은 주로 요약 (summarization) 및 코멘트 생성 (comment generation)에 집중되어 왔으며, 구조화된 코드 리뷰 (structured code reviews)에 대한 연구는 미흡한 실정입니다. 본 논문에서는 코드 패치 내 코드 변경 사항에 대해 분류 체계 기반 레이블링 (taxonomy-based labeling)을 수행하기 위해 대규모 언어 모델 (LLMs)을 사용하는 체계적인 연구를 제시합니다. 우리는 디프 헝크 (diff hunks)에 레이블을 할당한 다음, 이름 변경 전파 (rename propagation) 및 타입 변경 (type changes)과 같은 구조적 관계와 의미론적 속성 (semantic attributes)을 포착하도록 이를 정제하는 2단계 파이프라인 (two-stage pipeline)을 도입합니다. 우리의 접근 방식은 전통적인 정적 분석 (static-analysis) 파이프라인의 엔지니어링 오버헤드 없이, 언어에 구애받지 않고 맞춤 설정 가능한 레이블을 생성하기 위해 퓨샷 프롬프팅 (few-shot prompting)을 채택합니다. 우리는 자연적 패치와 합성 패치 (synthetic patches)로 구성된 수동 큐레이션 벤치마크에서 다양한 컨텍스트 구성에 따라 4개의 LLM을 평가합니다. 우리의 최적 구성은 최대 84%의 재현율 (recall)과 81%의 정밀도 (precision)를 달성하였으며, 관계 및 속성 메타데이터 (relational and attribute metadata) 추출에서 높은 정확도를 보였습니다. 이러한 결과는 LLM 기반 레이블링이 유연하고 다국어 지원이 가능하며 자동화 친화적인 코드 리뷰 워크플로를 가능하게 함으로써 정적 분석을 효과적으로 보완할 수 있음을 시사합니다.