RepoBench: 저장소 수준 코드 자동 완성 시스템 벤치마킹

요약

ICLR 2024에 채택된 RepoBench v1.1이 공개되어 저장소 수준의 코드 자동 완성 시스템을 위한 새로운 벤치마크를 제공합니다. 이 데이터셋은 Python과 Java용으로 제공되며, `cross_file` 및 `in_file` 등 다양한 의존성 마스킹 설정을 통해 모델 평가에 필요한 세밀한 환경을 구축했습니다.

핵심 포인트

• RepoBench v1.1이 HuggingFace Hub에 공개되어 사용 가능합니다.
• Python과 Java를 지원하며, 저장소 수준의 코드 자동 완성 능력을 측정합니다.
• cross_file_first/random 및 in_file 등 세 가지 설정으로 평가 난이도를 조절할 수 있습니다.
• EM, ES, CodeBLEU 등 다양한 지표로 모델 성능을 종합적으로 평가합니다.