MARS: 크기 인지형 순위 통계 (Magnitude-Aware Rank Statistics)

머신러닝 (Machine Learning) 모델에 대한 종합적인 평가는 모델이 원하는 만큼 견고하고 일관되게 작동하는지 확인하는 핵심 요소입니다. 실험 결과를 요약하고 승자를 선정하기 위해 임계 차이 (Critical Difference, CD) 다이어그램이 사용됩니다. 표준 CD 다이어그램은 이산적 순위 (Discrete Ranks)에 의존하며, 모델 간 성능 격차의 크기 (Magnitude)를 버림으로써 우리가 '크기 맹목성 (Magnitude-blindness)'이라고 부르는 문제를 야기합니다. 이 문제를 해결하기 위해, 우리는 이산적 순위에 대한 가중치로 상대적 마진 계수 (Relative Margin Coefficient)를 통합하는 크기 인지형 순위 통계 (Magnitude-Aware Rank Statistics, MARS)를 제안합니다. 이 계수는 최상위 성능과 최하위 성능 사이의 거리를 기반으로 순위를 조정하며, 경계 사례 (Boundary Cases)를 처리하기 위해 동적 투영 (Dynamic Projection)을 사용합니다. CD 값의 계산을 따르는 MARS는 모델 성능 차이에 대해 더욱 현실적인 통계적 표현을 제공하며, 방대하고 광범위한 실험 환경에서 방법론들이 실제로 어떻게 작동하는지에 대한 더 많은 통찰을 제공합니다.