Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
CodeScope는 LLM의 코딩 능력을 측정하기 위한 실행 기반의 다국어·다중 작업·다차원 평가 벤치마크입니다. 43개의 프로그래밍 언어와 8개의 작업을 통해 코드 이해 및 생성 성능을 종합적으로 평가하며, ACL 2024 메인 컨퍼런스에 채택되었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 GitHub AI Coding Assistants의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기CodeScope는 코딩 작업에 대한 LLM(Large Language Model)의 능력을 종합적으로 측정하기 위한 실행 기반(execution-based), 다국어(multilingual), 다중 작업(multi-task), 다차원(multi-dimensional) 평가 벤치마크입니다. CodeScope는 43개의 프로그래밍 언어와 8개의 코딩 작업을 다룹니다. 이는 난이도(difficulty), 효율성(efficiency), **길이(length)**라는 세 가지 차원(관점)에서 LLM의 코딩 성능을 평가합니다.
[2024.05.15] CodeScope가 **ACL 2024 메인 컨퍼런스(Main Conference)**에 채택되었습니다. 인정을 해주신 학계에 감사드립니다. [2023.11.15] 🎉🎉🎉 CodeScope가 공개되었습니다! 🎉🎉🎉
🤗Hugging Face 또는 
CodeScope는 8개의 코딩 작업을 통해 코드 이해(code understanding) 및 코드 생성(code generation) 측면에서 LLM의 종합적인 능력을 평가합니다.
CodeScope의 데이터나 코드를 사용하신다면 논문을 인용해 주세요.
@misc{yan2023codescope,
title={CodeScope: An Execution-based Multilingual Multitask Multidimensional Benchmark for Evaluating LLMs on Code Understanding and Generation},
author={Weixiang Yan and Haitian Liu and Yunkun Wang and Yunzhe Li and Qian Chen and Wen Wang and Tingyu Lin and Weishan Zhao and Li Zhu and Shuiguang Deng and Hari Sundaram},
...
질문이 있으시면 언제든지 이메일 [email protected]로 문의해 주세요.