PolyCodeEval: 함수부터 리포지토리까지 다국어 코드 생성 벤치마크

요약

본 논문은 LLM의 소프트웨어 엔지니어링 역량 강화를 위해 PolyCodeEval이라는 통일된 다국어 및 다세분성 코드 생성 벤치마크를 제안합니다. 이 벤치마크는 함수부터 리포지토리 수준까지 총 2,590개의 코딩 태스크로 구성되어 LLM의 성능을 체계적으로 평가할 수 있게 합니다.

핵심 포인트

• PolyCodeEval은 다국어/다세분성 코드 생성에 최적화된 통합 벤치마크입니다.
• 함수(71.7%) 대비 리포지토리(31.0%) 수준의 정확도 격차가 확인되었습니다.
• 같은 파일 내 컨텍스트가 함수 구현의 실행 가능성을 높이는 것으로 나타났습니다.
• 코드 생성 능력 평가는 다국어적이고 다세분적인 접근이 필수적입니다.