오류 민감도 프로파일 (ESP) 를 활용한 분류 모델의 민감도 측정

요약

본 논문은 머신러닝 모델의 성능을 결정하는 학습 데이터 품질 문제를 다루며, 오류 민감도 프로파일(Error Sensitivity Profile, ESP)이라는 새로운 지표를 제안합니다. ESP는 단일 또는 여러 특징에 존재하는 오류가 모델 성능에 미치는 민감도를 정량화하여, 데이터 정제 노력을 가장 효과적인 오류 유형과 특징에 집중할 수 있도록 우선순위를 제공합니다.

핵심 포인트

• 데이터 품질은 머신러닝 모델 성능의 핵심 요소이다.
• 오류 민감도 프로파일(ESP)을 통해 특정 오류가 모델 성능에 미치는 영향을 정량적으로 측정할 수 있다.
• ESP를 활용하면 데이터 정제 시 가장 큰 개선 효과를 기대할 수 있는 오류 유형과 특징에 우선순위를 부여할 수 있다.
• 개발된 통합 도구 모음(\dirty)을 통해 ESP 계산이 가능하며, 광범위한 실험을 통해 성능 저하가 항상 단순 상관관계로 예측되지 않음을 입증했다.