CodeScope

CodeScope는 코딩 작업에 대한 LLM(Large Language Model)의 능력을 종합적으로 측정하기 위한 실행 기반(execution-based), 다국어(multilingual), 다중 작업(multi-task), 다차원(multi-dimensional) 평가 벤치마크입니다. CodeScope는 43개의 프로그래밍 언어와 8개의 코딩 작업을 다룹니다. 이는 난이도(difficulty), 효율성(efficiency), **길이(length)**라는 세 가지 차원(관점)에서 LLM의 코딩 성능을 평가합니다.

[2024.05.15] CodeScope가 **ACL 2024 메인 컨퍼런스(Main Conference)**에 채택되었습니다. 인정을 해주신 학계에 감사드립니다. [2023.11.15] 🎉🎉🎉 CodeScope가 공개되었습니다! 🎉🎉🎉

🤗Hugging Face 또는

CodeScope는 8개의 코딩 작업을 통해 코드 이해(code understanding) 및 코드 생성(code generation) 측면에서 LLM의 종합적인 능력을 평가합니다.

CodeScope의 데이터나 코드를 사용하신다면 논문을 인용해 주세요.

@misc{yan2023codescope,
title={CodeScope: An Execution-based Multilingual Multitask Multidimensional Benchmark for Evaluating LLMs on Code Understanding and Generation},
author={Weixiang Yan and Haitian Liu and Yunkun Wang and Yunzhe Li and Qian Chen and Wen Wang and Tingyu Lin and Weishan Zhao and Li Zhu and Shuiguang Deng and Hari Sundaram},
...

질문이 있으시면 언제든지 이메일 weixiangyan@ucsb.edu로 문의해 주세요.