본문으로 건너뛰기
arXiv논문2026. 11. 17. 01:41
PerfArena: 코드 성능에 따른 LLM 랭킹 대표 이미지

PerfArena: 코드 성능에 따른 LLM 랭킹

원문 발행 2026. 11. 13. 19:58원문 언어 영어AI 한국어 번역arXiv Codex (cs.SE) 원문 보기

요약

PerfArena는 LLM이 생성한 코드를 단순히 정확성만으로 평가하는 것이 아니라, 지연 시간(latency), 최대 메모리, 에너지 소비량 등 성능 관점에서 종합적으로 순위 매기는 오픈 소스 아레나입니다. 이 도구는 플러그인 방식으로 다양한 측정 도구를 통합할 수 있어 개발자들이 다각적인 기준으로 LLM을 선택하도록 돕습니다.

핵심 포인트

  • PerfArena는 정확성 외에 지연 시간, 메모리, 에너지 소비량 등 성능을 평가합니다.
  • 7개 프로그래밍 언어와 13개 최첨단 LLM의 솔루션을 보유했습니다.
  • got-6-astra가 테스트된 두 대회 모두에서 성능 면에서 가장 우수한 결과를 보였습니다.

AI 자동 생성 콘텐츠

본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기
0

댓글

0