대규모 언어 모델(Large Language Models, LLMs)은 일상적인 소프트웨어 엔지니어링 작업, 특히 자동화된 코드 생성 분야에서 점점 더 많이 사용되고 있습니다. 이러한 광범위한 채택에도 불구하고, 이 모델들은 여전히 완벽과는 거리가 멀며, 모델의 강점과 한계를 이해하기 위해서는 체계적이고 공정한 평가가 필수적입니다. 코드 생성 맥락에서 기존의 벤치마크(benchmarks)는 한계가 있습니다. 기존 방식들은 종종 단일 프로그래밍 언어를 대상으로 하거나 주로 단위 테스트(unit test) 결과에 의존하며, 생성된 코드의 전반적인 품질이나 유효한 솔루션에 얼마나 근접했는지와 같은 다른 중요한 차원들을 간과합니다. 이러한 격차를 해소하기 위해, 우리는 PROBE를 소개합니다. PROBE는 이전 연구들과 달리 다양하고 잘 정의된 지표(metrics), 대표적인 워크로드(workloads), 다양한 프롬프트 템플릿(prompt templates), 그리고 견고한 실험 절차를 기반으로 구축된 체계적인 구조를 갖춘 확장 가능한 벤치마크 프레임워크입니다. 실제로 LLMs에 의해 생성된 코드는 기능적 정확성(functional correctness), 유효한 솔루션에 대한 근접성(proximity to valid solutions), 그리고 코드 품질(code quality)이라는 세 가지 상호 보완적인 차원을 따라 평가되어, 성능에 대한 종합적인 평가를 가능하게 합니다. 우리는 PROBE를 사용하여 5개의 프로그래밍 언어에 걸쳐 3가지 프롬프팅 전략(prompting strategies) 하에서 4개의 오픈 소스 모델과 2개의 독점(proprietary) 모델을 평가합니다. 나아가, 우리는 코드에서 발생하는 일반적인 오류에 대한 연구를 통해 이 분석을 보완하고 구체적인 사례를 제공함으로써, LLMs가 어디에서 어려움을 겪는지에 대한 더 명확한 통찰을 제공합니다. 우리의 연구 결과에 따르면, LLMs는 유망한 결과를 달성하고 있지만, 더 어려운 문제들에서 어려움을 겪으며, 규모가 작은 모델의 경우 학습 가능한 리소스가 적은 프로그래밍 언어에서 어려움을 겪습니다. 또한, 이들은 종종 근본적이고 쉽게 피할 수 있는 오류들로 인해 실패하며, 이는 자동 생성된 코드의 신뢰성이 낮음을 강조합니다.