Why Global LLM Leaderboards Are Misleading: Small Portfolios for Heterogeneous

요약

본 논문은 현재 LLM 리더보드가 전역적(global) 순위에 의존하는 것이 오해의 소지가 있으며, 모델 간의 성능 차이를 정확하게 반영하지 못함을 분석합니다. 연구진은 대규모 비교 데이터를 분석하여 상위 모델들이 통계적으로 구별하기 어려움을 발견하고, 이러한 실패가 언어 및 작업에 따른 구조적 의견 불균형 때문임을 밝혀냈습니다. 이에 대한 해결책으로 예측 오차와 커버율을 고려하는 $(λ, ν)$-포트폴리오 프레임워크를 제안하며, 이 방법론이 전역 랭킹보다 훨씬 더 많은 투표 데이터를 포착하고 모델의 진정한 성능을 복원할 수 있음을 입증했습니다.

핵심 포인트

• 전통적인 LLM 리더보드는 대규모 비교 데이터 분석 결과, 상위 모델들이 통계적으로 구별하기 어려워 오해를 유발합니다.
• LLM의 성능 차이는 언어(Language)와 작업(Task) 같은 하위 집단에 따라 구조적 불균형을 보이며, 전역 랭킹은 이를 제대로 반영하지 못합니다.
• 연구진은 예측 오차($ ext{λ}$)와 커버율($ ext{ν}$)을 고려하는 $(λ, ν)$-포트폴리오 프레임워크를 제안하여 모델의 진정한 성능을 측정할 수 있는 새로운 접근 방식을 제시했습니다.
• 제안된 포트폴리오 방법론은 전역 랭킹보다 훨씬 더 많은 투표 데이터를 커버하고, 모델 집합이 데이터의 잠재적 편향이나 맹점(blind spots)을 탐지하는 데 유용함을 보여줍니다.