WorldCup Arena: 라이브 토너먼트를 통한 프런티어 LLM의 전망적, 누출 없는 평가

요약

WorldCup Arena는 데이터 누출 문제를 해결하기 위해 2026 FIFA 월드컵을 활용한 실시간 예측 벤치마크를 제안합니다. 6개의 프런티어 LLM을 대상으로 한 실험 결과, 모델들은 배당률 우승 후보와 유사한 63.9%의 정확도를 보였으나 특정 패턴의 편향성을 나타냈습니다.

핵심 포인트

• 사후적 데이터가 아닌 실시간 예측을 통한 누출 없는(leakage-free) 평가 방식 도입
• 프런티어 LLM들은 경기 결과 예측 시 배당률 우승 후보와 유사한 경향을 보임
• 모델 간 의견 동의 경향이 높아 다수결 투표를 통한 성능 향상이 어려움
• 정보가 풍부한 접전 상황보다 일방적인 경기 상황에서 정확도가 높게 나타남
• 현재 세대 모델들 간의 예측 성능 격차는 전반적으로 좁게 유지됨