CodeChat-Eval: 다회차 코드 개선 대화에서의 대규모 언어 모델 (LLMs) 평가

요약

다회차 코드 개선 대화 환경에서 LLM의 성능을 평가하기 위한 새로운 프레임워크인 CodeChat-Eval을 소개합니다. 기존 벤치마크가 놓치고 있는 기능적 정확성 유지 능력을 측정하며, 대화가 진행될수록 모델의 정확도가 유의미하게 하락함을 입증합니다.

핵심 포인트

• 다회차 코드 개선 대화 평가를 위한 CodeChat-Eval 프레임워크 제안
• 기존 벤치마크의 단회차 생성 중심 평가 한계 지적
• 대화가 반복될수록 모델의 기능적 정확성이 크게 감소함 확인
• 로직 수준의 개선 및 추가 변경 요청 시 정확도 저하가 두드러짐