유용성과 자연성 균형: 코드 리뷰 코멘트를 위한 LLM 기반 큐레이션 파이프라인

요약

본 논문은 코드 리뷰 코멘트의 품질 문제를 해결하기 위해 두 가지 큐레이션 파이프라인을 제안합니다. 첫 번째는 LLM으로 모든 코멘트를 재구성하여 명확성과 간결성을 높인 CuREV 데이터셋을 만듭니다. 두 번째는 평가 프레임워크를 통해 고품질 데이터를 분리하고, 이를 인컨텍스트 예시로 활용해 저품질 데이터의 재구성을 유도함으로써 현실성과 다양성을 극대화합니다.

핵심 포인트

• LLM 기반 코드 리뷰 자동화의 핵심은 훈련 데이터셋 품질에 달려있음.
• CuREV 파이프라인은 코멘트를 체계적으로 재구성하여 명확하고 간결한 데이터를 제공함.
• 고품질 예시(exemplars)를 활용해 저품질 코멘트의 현실성과 다양성을 높임.
• 제안된 방법론은 다운스트림 자동화 작업에서 측정 가능한 성능 개선을 보장함.