LintEval: Linter 기반 파일 리팩토링을 위한 LLM 평가 벤치마크

요약

LintEval은 코드 유지보수 및 리팩토링 과정에서 린터가 안내하는 파일 수정 능력을 평가하기 위해 개발된 다국어 벤치마크입니다. 이 벤치마크는 기능성 보존, 린트 알림 감소 등 네 가지 측면을 종합적으로 측정합니다. 실험 결과, 상용 모델은 높은 린트 알림 감소율을 보였으나, 초기 기능성을 유지하는 능력(Pass@1)에는 한계가 있음을 확인했습니다.

핵심 포인트

• LintEval은 린터 기반 파일 리팩토링 평가를 위한 새로운 다국어 벤치마크입니다.
• 모델의 성능 평가는 기능성 보존과 린트 알림 감소 사이의 상충 관계를 보여줍니다.
• SFT(Supervised Fine-Tuning)와 같은 지도 학습 방식이 모델의 리팩토링 능력을 크게 향상시킬 수 있습니다.