현재 산업계는 LLM에 의존하여 상당량의 프로덕션 코드를 작성하고 있습니다. 해당 코드는 대부분 정확하지만, 항상 그런 것은 아니며, 정확성만으로는 반복적이고 광범위한 사용에 적합한지 여부를 결정할 수 없습니다. 이는 코드가 시간, 메모리, 에너지 측면에서 얼마나 비용이 드는지에 달려있기 때문입니다.
그럼에도 불구하고 대부분의 코드 생성 벤치마크는 정확성만을 개별적으로 평가하며, 성능 지향적 벤치마크들은 다루는 언어가 적고 에너지 소비량 측정은 거의 하지 않습니다. 이러한 격차를 해소하기 위해, 우리는 여러 언어와 경진 대회에 걸쳐 생성된 코드의 성능으로 LLM을 순위 매기는 오픈 소스이며 재현 가능한 아레나인 PERFARENA를 소개합니다.
PERFARENA는 각 LLM의 솔루션을 유닉스(Unix)와 유사한 호스트에서 실행하고, 정확성뿐만 아니라 지연 시간(latency), 최대 메모리(peak memory), 에너지 소비량도 보고합니다. 정확성 오라클(Correctness oracles), 성능 오라클(performance oracles), 프로파일러(profilers), 그리고 코드 생성 워크플로우는 PERFARENA에 플러그인 방식으로 통합될 수 있어, 파이프라인을 변경하지 않고도 새로운 채점 백엔드와 측정 도구를 통합할 수 있게 합니다.
우리는 PERFARENA를 두 가지 대회에서 평가했습니다: 컴퓨터 언어 벤치마크 게임(Computer Language Benchmarks Game)의 계산 집약적 벤치마크 10개로 구성된 CLBGComp와, 수락된 솔루션 간에 지연 시간 측면에서 측정 가능한 차이가 있는 LeetCode 문제 99개를 다룬 LeetCodeComp입니다. 현재 PERFARENA는 7개 프로그래밍 언어에 걸쳐 13개의 최첨단(state-of-the-art) LLM으로부터 9,455개의 정확하고 측정된 솔루션을 보유하고 있습니다.
두 대회 모두에서, got-6-astra는 다른 어떤 LLM도 지연 시간, 에너지 소비량 또는 최대 메모리 측면에서 유의미하게 능가하지 못하는 유일한 LLM이며, LeetCodeComp의 99.7%와 CLBGComp의 100%를 해결했습니다. 모든 PERFARENA 리더보드와 측정된 솔루션은 공개적으로 이용 가능하며, 개발자들이 정확도율이나 가격에만 의존하는 대신 언어 및 지표별로 LLM을 선택할 수 있도록 지속적으로 업데이트되는 참고 자료를 제공합니다.