요약

현재 LLM 리더보드는 벤치마크 설계자가 설정한 우선순위에 의해 모델을 비교하며, 단일 점수는 모델의 다양한 성능 특성을 가립니다. 본 논문은 LMArena (구 Chatbot Arena) 데이터셋을 분석하여 이러한 평가 편향성을 지적하고, 사용자가 직접 프롬프트 슬라이스(prompt slices)를 선택하고 가중치를 부여해 원하는 방식으로 모델 순위를 확인할 수 있는 인터랙티브 시각화 인터페이스를 제안합니다. 이는 LLM 평가의 투명성과 맥락 적합성을 높여, 실제 사용자 요구에 맞는 새로운 리더보드 설계 방향을 제시합니다.

핵심 포인트

• LLM 리더보드는 벤치마크 설계자의 우선순위에 의해 결정되어, 실제 사용자의 다양한 목표와 제약 조건을 반영하지 못하는 한계가 있습니다.
• LMArena 데이터셋 분석 결과, 해당 벤치마크는 특정 주제에 편향되어 있으며, 프롬프트 유형별로 모델 순위가 다르게 나타납니다.
• 제안된 인터랙티브 시각화 도구는 사용자가 평가 우선순위를 직접 정의하고 가중치를 부여하여, 맥락에 맞는 맞춤형 모델 비교를 가능하게 합니다.
• 이러한 사용자 중심의 접근 방식은 LLM 평가의 투명성을 높이고, 보다 실질적인 배포 결정을 지원할 수 있습니다.