BigCodeArena: 코드 생성 모델 평가의 새로운 기준

BigCodeArena는 코드를 실행하여 코드 생성 모델을 평가하는 첫 번째 인간-루프 (human-in-the-loop) 플랫폼입니다.

LLM Arena 를 영감으로 하여, 누구나 코드 생성 모델을 한눈에 비교할 수 있는 플랫폼을 구축했습니다. 하지만 중요한 차이점은 실제 코드를 실행하고 그 결과를 확인할 수 있다는 점입니다. 단순히 코딩 작업을 제출하고 두 개의 다른 모델이 해결책을 생성하는 것을 지켜보며, 각 프로그램을 실행한 후 더 좋은 결과를 만든 모델을 투표로 선택할 수 있습니다. 결과는 커뮤니티의 최고 등급 모델을 표시하는 리더보드 (leaderboard) 로 정리됩니다.

코드 생성 분야는 오랫동안 신뢰할 수 있는 평가 방법을 고군분투해 왔습니다. HumanEval 과 같은 전통적인 벤치마크는 사전 정의된 테스트 케이스와 코드를 비교하지만, 이는 실제 세계의 프로그래밍 작업의 아주 작은 일부에 불과합니다. 일반적인 챗봇을 위한 인간 평가 플랫폼은 존재하지만, 코드 평가에는 한계가 있습니다. 원본 소스 코드를 읽고 실행을 정신적으로 시뮬레이션하는 것은 인지적 부담이 크고 오류가 많으며, 특히 긴 프로그램이나 복잡한 UI 애플리케이션에서는 더욱 그렇습니다.

이러한 상황을 고려해 보십시오:

두 AI 모델에게 반응형 사진 갤러리 웹사이트를 구축하도록 요청합니다. 두 모델 모두 문법적으로 올바른 코드를 생성합니다. 하지만 어느 것이 더 나은지 어떻게 알 수 있을까요? 코드를 실행하지 않고서는 거의 불가능합니다. 한쪽은 아름다운 기능적인 그리드 레이아웃을 만들지만, 다른 쪽은 브라우저에서 렌더링되었을 때만 드러나는 미묘한 버그나 불완전한 스타일을 가질 수 있습니다.

이 관찰은 코드의 질을 신뢰할 수 있게 평가하기 위해 실행 피드백 (execution feedback) 이 필수적이라는 핵심 통찰로 이어졌습니다. BigCodeArena 는 바로 이를 제공합니다.

BigCodeArena 는 강력한 기능을 갖춘 Chatbot Arena 프레임워크를 확장하여 코드 평가를 위한 것입니다:

모든 모델이 생성한 코드 스니펫은 격리된 샌드박스 환경에서 자동으로 실행됩니다. Python 스크립트, React 웹 애플리케이션, PyGame 게임, 또는 C++ 알고리즘이든 실제 출력을 볼 수 있습니다.

현재는 10 가지 언어 (Python, JavaScript, TypeScript, HTML, C, C++, Java, Go, Rust, Markdown) 와 8 개 실행 환경을 지원합니다:

Web Frameworks: React, Vue, Core Web (vanilla HTML/CSS/JS)
Python Frameworks: Streamlit, Gradio, PyGame
Diagrams: Mermaid
General Purpose Interpreters: Python 과 JavaScript 코드 인터프리터, 컴파일 언어 런너

정적 코드 비교와 달리 생성된 애플리케이션과 실제로 상호작용할 수 있습니다:

• 웹 애플리케이션에서 버튼 클릭 및 UI 요소 테스트
• 모델이 생성한 게임을 플레이
• 코드를 수정하고 변경 사항을 테스트하기 위해 재실행
• 플롯, 차트, 다이어그램 등의 시각적 출력 보기

실제 프로그래밍은 한 번만 하는 것이 아닙니다. BigCodeArena 는 다중 턴 상호작용을 지원하여 요구사항을 개선하거나 기능을 추가하거나 버그 수정을 요청할 수 있습니다.

2025 년 2 월 출시 이후, BigCodeArena 는 500 여 명의 고유 사용자로부터 14,000 회 이상의 대화를 수집했으며, 10 개의 최첨단 LLM 을 비교하는 **4,700 회 이상의 고품질 선호도 투표 (high-quality preference votes)**를 받았습니다.

사용자들은 놀라울 정도로 다양한 프로그래밍 시나리오를 탐구했습니다:

Web Design (36%): 반응형 웹사이트, 인터랙티브 대시보드 및 웹 애플리케이션 구축
Problem Solving (23%): 알고리즘, 데이터 구조 및 계산적 도전 과제
Game Development (16%): 물리, 충돌 감지 및 그래픽을 갖춘 인터랙티브 게임 제작
Scientific Computing (14%): 데이터 분석, 시각화 및 수치 시뮬레이션
Creative Coding (8%): 예술적 시각화, 생성형 예술 및 실험적 인터페이스
Diagram Creation (3%): 플로우차트, 시스템 아키텍처 및 데이터 시각화

Python 은 4,000 회 이상의 대화로 주도하며, JavaScript/TypeScript (3,359), HTML (1,601), C++ (642) 를 따릅니다. 프레임워크 중에서는 직접 Python 인터프리터가 사용량에서 앞서며 (6,000 세션), React (2,729), Core Web (1,574), Streamlit (1,254), PyGame (1,087) 도 많은 사용량을 기록했습니다.

대부분의 상호작용은 ...