해석 가능한 루브릭 임베딩 (Rubric Embeddings)을 통한 레이블 편향 (Label Bias) 완화

통계적 결정 알고리즘 (Statistical decision algorithms)은 채용, 대학 입학, 콘텐츠 중재 (content moderation)와 같이 정답 레이블 (ground-truth labels)을 얻기 어려운 영역에 점점 더 많이 배치되고 있습니다. 이러한 환경에서 모델은 일반적으로 과거의 인간 평가를 기반으로 학습됩니다. 예를 들어, 과거의 채용 결정을 지원자의 실제 역량을 나타내는 대리 지표 (proxy)로 사용하는 방식입니다. 그러나 과거의 평가가 특정 집단에 부당하게 유리했다면, 이러한 레이블로 학습된 모델은 해당 편향을 그대로 물려받을 수 있습니다. 이 문제를 해결하기 위해, 우리는 루브릭 임베딩 (rubric embeddings)에 기반하여 예측을 수행하는 방식을 제안합니다. 이는 표준적인 블랙박스 임베딩 (black-box embeddings)을 관심 대상의 근본적인 구성 개념 (underlying construct)과 일치하도록 전문가가 정의한 기준에서 도출된 특징 (features)으로 대체하는 표현 프레임워크 (representation framework)입니다. 예측을 의미론적으로 유의미한 차원 (dimensions)에 고정함으로써, 이 접근 방식은 편향된 대리 신호 (proxy signals)로부터 모델을 보호합니다. 우리는 타당한 조건 하에서 루브릭 임베딩이 레이블 편향 (label bias)을 완화한다는 이론적 및 실증적 증거를 제공합니다. 실증적으로, 우리는 대규모 석사 과정 지원 데이터라는 새로운 데이터셋을 통해 우리의 방법을 평가합니다. 연구 결과, 루브릭 임베딩으로 학습된 모델은 집단 간 격차 (group disparities)를 줄이는 동시에 코호트 품질 (cohort quality) 측정 지표를 개선함을 확인했습니다. 우리의 결과는 해석 가능하고 도메인에 근거한 표현 (domain-grounded representations)에 기반하여 예측을 수행하는 것이 편향된 레이블이 존재하는 상황에서 학습을 위한 실질적인 접근법을 제공함을 시사합니다.