SEAL: LLM-as-a-Meta-Judge를 통해 포화된 벤치마크를 되살릴 수 있는가?
요약
기존 LLM 벤치마크의 포화 문제를 해결하기 위해 새로운 평가 프로토콜인 SEAL을 제안합니다. SEAL은 적응형 LLM-as-a-Meta-Judge와 시드 제거 방식을 사용하여 기존 태스크에서 유의미한 순위 신호를 추출합니다.
핵심 포인트
- 포화된 벤치마크에서 잠재적 순위 신호 추출 가능
- 시드 제거 방식과 자기 개선형 체크리스트 활용
- 코드 생성, 수학, 에이전트 등 다양한 태스크 검증
- 기존 방식 대비 호출 횟수를 절반 이하로 줄이며 높은 정확도 유지
널리 사용되는 언어 모델 (Language-model) 벤치마크들이 점점 더 포화되고 있으며, 최첨단 (Frontier) 시스템들은 표준 지표 (Standard metrics)로는 해결할 수 없는 거의 동등한 점수를 받는 경우가 빈번해지고 있습니다. 더 어려운 대안을 구축하는 대신, 우리는 동일한 후보 출력물 (Candidate outputs)에 대한 개선된 평가를 통해 기존 태스크들을 다시 유익하게 만들 수 있는지 질문을 던집니다. 따라서, 우리는 포화된 벤치마크로부터 잠재적인 순위 신호 (Latent ranking signal)를 추출하기 위한 자기 개선형 평가 프로토콜인 '적응형 LLM-as-a-Meta-Judge를 이용한 시드 제거법 (Seeded Elimination with Adaptive LLM-as-a-Meta-Judge, SEAL)'을 제시합니다. SEAL은 후보 출력물들을 단일 제거 방식 (Single elimination)으로 시딩 (Seed)하며, 태스크 수준의 원칙과 자기 개선형 체크리스트 기준을 사용하여 각 매치 (Match)를 평가합니다. 우리는 코드 생성 (Code generation), 수학적 추론 (Mathematical reasoning), 지식 집약적 질의응답 (Knowledge-intensive question answering), 그리고 도구 사용 에이전트 태스크 완료 (Tool-use agent task completion)를 아우르는 여러 포화된 벤치마크에서 SEAL을 평가합니다. 이러한 설정 전반에서, SEAL은 경쟁 프로토콜 대비 순위 정확도-지연 시간 (Ranking-accuracy--latency) 트레이드오프를 개선하며, 전체 쌍별 판정 (Full pairwise judging)과 0.83~1.00의 Spearman 일치도 및 4/4의 Top-1 일치도를 달성하는 동시에, 전체 쌍별 평가 (Full pairwise evaluation)의 28.00회 호출과 비교하여 태스크당 단 11.89회의 호출만을 필요로 합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기