유용성과 자연성 균형: 코드 리뷰 코멘트를 위한 LLM 기반 큐레이션 파이프라인
요약
본 논문은 코드 리뷰 코멘트의 품질 문제를 해결하기 위해 두 가지 큐레이션 파이프라인을 제안합니다. 첫 번째는 LLM으로 모든 코멘트를 재구성하여 명확성과 간결성을 높인 CuREV 데이터셋을 만듭니다. 두 번째는 평가 프레임워크를 통해 고품질 데이터를 분리하고, 이를 인컨텍스트 예시로 활용해 저품질 데이터의 재구성을 유도함으로써 현실성과 다양성을 극대화합니다.
핵심 포인트
- LLM 기반 코드 리뷰 자동화의 핵심은 훈련 데이터셋 품질에 달려있음.
- CuREV 파이프라인은 코멘트를 체계적으로 재구성하여 명확하고 간결한 데이터를 제공함.
- 고품질 예시(exemplars)를 활용해 저품질 코멘트의 현실성과 다양성을 높임.
- 제안된 방법론은 다운스트림 자동화 작업에서 측정 가능한 성능 개선을 보장함.
코드 리뷰는 소프트웨어 개발의 초석이며, 검토자들이 작성된 코멘트를 통해 피드백을 제공하여 코드 품질, 유지보수성 및 정확성을 보장합니다. 이 프로세스의 효과성은 리뷰 코멘트의 품질에 달려 있습니다. 대규모 언어 모델(LLMs)이 코드 리뷰 작업을 자동화하는 데 힘을 얻으면서, 이러한 시스템의 유용성은 훈련된 데이터셋의 품질에 의해 직접적으로 제한됩니다. 불행하게도 기존의 코드 리뷰 데이터셋은 종종 노이즈가 많거나, 일관성이 없거나, 구조가 부실하여 LLMs가 정확하고 도움이 되며 인간과 유사한 리뷰 코멘트를 생성하는 방법을 학습하는 것을 방해합니다. 이러한 한계를 극복하기 위해, 우리는 대규모 코드 리뷰 데이터셋의 품질과 유용성을 모두 향상시키기 위해 설계된 두 가지 다른 큐레이션 파이프라인을 제안합니다. 첫 번째 파이프라인에서는 모든 리뷰 코멘트를 LLM에 의해 체계적으로 재구성하여 의미적 의도를 보존하면서 명확성, 간결성 및 예의바름을 개선합니다. 이 접근 방식을 통해 생성된 큐레이션 데이터셋은 CuREV라고 불리며, 더 깨끗하고 높은 품질이며 학습하기 쉬운 코멘트를 제공하여 리뷰 코멘트 생성 및 코드 정제와 같은 다운스트림 자동화 작업에서 측정 가능한 개선으로 이어집니다. 이를 기반으로, 우리는 고품질 예시(exemplars)에 의해 안내되는 향상된 파이프라인을 제안하며, 이는 큐레이션된 리뷰 코멘트의 현실성과 다양성을 높입니다. 이 방법은 먼저 평가 프레임워크를 사용한 체계적인 품질 평가를 기반으로 데이터셋을 고품질 및 저품질 리뷰로 분리합니다. 고품질 코멘트는 원래 형태가 유지되며, 추가적으로 인컨텍스트 예시(in-context exemplars)로 사용되어 저품질 코멘트의 재구성을 촉진하는 데 사용됩니다. 제공되는 예시를 다양화함으로써, 재구성된 코멘트는 더 명확하고 실행 가능할 뿐만 아니라 광범위한 작문 스타일을 보여주어 더욱 현실적이고 인간과 유사하게 만듭니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기