추천 알고리즘의 순위를 매기는 것은 모델의 성능이 희소성 (sparsity), 순차적 구조 (sequential structure), 규모 (scale)와 같은 데이터셋의 특성에 민감하기 때문에 매우 어려운 문제입니다. 이는 알고리즘 간의 공정한 비교를 위한 적절한 방법론에 대한 요구로 이어집니다. 성능 지표를 단순하게 집계하는 방식 (예: 벤치마크 전반에 걸쳐 NDCG를 평균 내는 방식)은 오해의 소지가 있는 순위를 생성할 수 있으며, 이는 실제적인 선택 과정을 저해할 수 있습니다. 이 문제를 해결하기 위해, 우리는 Bradley-Terry (BT) 모델에 기반한 새로운 데이터 주도형 (data-driven) 순위 산정 방법론을 소개합니다. 우리는 얻어진 순위가 주요 데이터셋 통계에 의존한다는 것을 입증합니다. 또한, 순위 일관성 (ranking consistency)을 평가하기 위한 새로운 지표를 제안하고, 불완전한 데이터에 대한 우리 순위 산정 방식의 강건성 (robustness)을 입증합니다. 마지막으로, BT 트리 (BT trees) 및 공변량을 포함한 BT 모델 (BT models with covariates)을 포함한 Bradley-Terry 프레임워크의 확장에 의존하여, 모델을 직접 실행하지 않고도 보지 못한 데이터셋 (unseen datasets)에서 알고리즘의 순위를 매기는 데이터셋 특화 방법론을 소개합니다.