메타데이터 기반 분류에서의 평가 주권: 약지도 정보 시스템을 위한 다중 트랙 프레임워크

요약

본 논문은 기계 학습 평가가 중립적이지 않으며, 레이블 생성 프로세스에 의해 조건화됨을 지적합니다. 따라서 분류 성능 향상 대신, 서로 다른 '레이블 권한 체제' 하에서의 성능 측정 타당성을 조사하는 다중 트랙 평가 프레임워크를 제안합니다.

핵심 포인트

• ML 평가는 중립적이지 않으며 레이블 생성 프로세스에 의해 조건화된다.
• 성능 향상보다 '평가 주권' 확보가 핵심 목표이다.
• '평가 주권'은 성능 지표가 레이블 권한 및 지도 체제로부터 독립적인 정도를 의미한다.
• 다중 트랙 프레임워크로 훈련/평가 레이블 소스를 변화시켜 타당성을 검증한다.