풀링된 리더보드는 시스템별 승자를 숨긴다: 오프라인 근본 원인 분석(RCA) 벤치마크의 보고 프로토콜 감사

요약

오프라인 근본 원인 분석(RCA) 벤치마크가 단일 통합 점수만을 사용하여 시스템별 성능 차이를 은폐하는 문제를 분석합니다. 연구 결과, 통합 점수 기반의 방법론 선택이 특정 서브시스템에서는 성능 저하를 초래할 수 있음을 입증하고 감사 모듈을 공개합니다.

핵심 포인트

• 통합된 Top-1 정확도 점수가 서브시스템별 성능 차이를 왜곡할 수 있음
• OpenRCA, RCAEval, PetShop 벤치마크 제품군을 대상으로 심층 감사 수행
• 특정 서브시스템 제외 시 기존 상위 방법론의 성능이 급격히 하락하는 현상 발견
• 벤치마크 점수의 안정성을 재계산할 수 있는 320라인의 감사 모듈 공개