언제 언어 모델을 결합하는 것이 도움이 되는가? 67개의 프런티어 모델에 걸친 라우팅(Routing), 투표(Voting)

라우팅 (Routing), 투표 (Voting), 캐스케이드 (Cascades), 퓨전 (Fusion), 그리고 Mixture-of-Agents (MoA)와 같은 멀티 모델 LLM 시스템은 단일 모델의 정확도를 뛰어넘기 위해 사용됩니다. 본 연구에서는 이러한 시스템의 이득이 해당 분야에서 거의 보고되지 않는 특정 수치에 의해 제한된다는 것을 보여줍니다. 출력값이 하나의 멤버 모델 답변인 모든 정책(Policy)에 대해, 정확도는 1-beta를 초 exceed할 수 없습니다. 여기서 beta는 모든 모델이 동일한 쿼리에 대해 틀리는 비율입니다. 이와 대조적으로, 일반적인 진단 지표인 평균 쌍별 오류 상관관계 (average pairwise error correlation) rho는 beta를 식별할 수 없습니다. 동일한 주변 분포 (marginals)와 쌍별 상관관계 (pairwise correlations)를 가진 오류 법칙이라도 서로 다른 '전부 틀리는 비율 (all-wrong rates)'을 가질 수 있기 때문입니다. beta에 대한 Clopper-Pearson 경계 (Clopper-Pearson bound)는 라우터를 학습시키기 전에 라우터, 투표, 또는 캐스케이드가 제공할 수 있는 최대 이득에 대한 유한 표본 인증 (finite-sample certificate)을 제공합니다. 21개 제공업체의 67개 모델을 대상으로 한 결과, 테트라코릭 보정 (tetrachoric-calibrated) 단일 요인 모델은 여전히 '전부 틀리는 꼬리 부분 (all-wrong tail)'의 가치를 저평가합니다. 개방형 수학 문제에서 관찰된 beta는 0.052였으며, 이는 67개 모델 전체 가우시안 코풀라 (Gaussian copula) 하에서의 0.023과 비교했을 때 약 2.5배 저평가된 수치입니다 (90% 신뢰 구간 1.73.4, k=17). 이러한 효과는 beta가 0.079인 실행 등급 코드 (execution-graded code) 작업에서도 반복됩니다. GPQA-Diamond 질문을 객관식 대신 자유 응답 형식으로 다시 질문하면 꼬리 부분이 다시 나타나며, 이때 beta는 0.127이고 kappa가 0.730.92인 5인 판정단이 구성됩니다. 이는 공동 실패 (co-failure)가 주제가 아닌 답변 형식에서 발생함을 보여줍니다. 품질이 일치할 때, 낮은 rho를 가진 이질적 앙상블 (heterogeneous ensembles)은 높은 rho를 가진 Self-MoA를 능가하지만, 본 연구의 풀(pool) 내 검증 가능한 작업에서는 강력한 쿼리 수준의 라우팅 신호 없이는 모델을 결합하는 것이 단일 최적 모델을 능가하는 경우가 드뭅니다. 이득은 더 많은 모델을 추가하는 것이 아니라, 서로 다른 질문에서 실패하는 모델들로부터 나옵니다.