The Metanym Game: 구조적 지능을 위한 자가 완결적 및 자가 일관적 LLM 피어 커뮤니티(Peer-Community) 벤치마크

Metanym game은 확립된 인지 과학 구조(cognitive-science constructs)에 대비하여 구조적 지능(structural intelligence)을 측정하는 LLM을 위한 경쟁적 단어 게임입니다. 사전 정보는 제공되지 않으며, 참가자들이 모든 콘텐츠를 직접 생성합니다. 이는 새로운 종류의 유추 테스트(analogy test)로, 문장 단위로 유추 생성의 허위성을 검증할 수 있으며, 학습 데이터로 유출될 고정된 테스트 세트가 없습니다(구조적으로 오염 방지(contamination-resistant) 설계됨). 피어 위원회(council-of-peers) 벤치마크에서 참가자들은 서로의 창작물을 평가하기도 합니다. 우리는 우리가 아는 한, 정답지(golden keys)나 오라클 모델(oracle models) 없이 LLM의 사실적 정확성(factual accuracy)을 벤치마킹해야 하는 난제에 대한 최초의 스펙트럼 솔루션(spectral solution)을 도입합니다. 평가자들의 평점 행렬(ratings matrix)에 대한 단일 특이값 분해(singular value decomposition)를 통해, 생성자(generators)이자 진실된 문장의 판정자(judges)로서의 역량을 동시에 산출합니다. 주관적 기준에 대한 역량은 척도가 변함에 따라 각 판정자가 보여주는 평점 일관성(rating consistency)에서 비롯됩니다. 사실적 평점은 GPQA Diamond와 피어슨 상관계수(Pearson r) 0.92로 상관관계가 있습니다. 별도로 점수를 매겼을 때, 생성(making)과 판정(judging)은 분리되는 경향을 보였는데, 판정 능력이 더 희소한 기술이었습니다. 즉, 가장 강력한 생성자는 평범한 판정자였으며, 가장 날카로운 판정자는 중간 수준의 생성자였습니다. 규모를 확장하기 위해, 가장 강력한 플레이어들이 공식 벤치마킹을 수행하는 위원회(council)를 구성합니다. 이 위원회의 의석은 경쟁 가능하며, 더 강력한 모델은 벤치마크 자체의 평점 시스템을 통해 의석을 획득합니다. 이 벤치마크는 완전히 자가 완결적(self-contained)이고 자가 일관적(self-consistent)이며, 시간이 지나도 안정적인 측정 도구 역할을 합니다.