Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
생성형 AI의 공정성 평가 시 무엇을 목표 분포로 설정할 것인가에 대한 '누락된 목표 문제'를 다룹니다. 인구통계학적 가치가 지정되지 않은 생성 환경에서 목표 구축을 위한 네 가지 프레임워크를 제안합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기공정성 평가(Fairness evaluation)는 모델이 무엇을 생성하는가뿐만 아니라, 그 출력이 무엇과 비교되어야 하는가에 대해서도 다룹니다. 모델이 "미국의 CEO"를 생성할 때, 프롬프트는 인구통계학적 실현(demographic realization)을 모델의 판단에 맡깁니다. 기존의 집단 공정성(group fairness) 정의는 민감한 속성(sensitive attributes)이 입력 측에 주어진다고 가정합니다. 반면 생성형 감사(Generative audits)는 출력 측의 인구통계학적 구성(demographic composition)을 조사하지만, 비교 대상이 되는 목표(targets)는 일반적으로 정당화되기보다는 단순히 제공됩니다. 상위 단계의 질문은 목표 분포(target distribution)가 무엇이어야 하는가입니다. 우리는 인구통계학적 가치가 지정되지 않은 생성(demographic-value-unspecified generation)에 대한 이 누락된 목표 문제(missing-target problem)를 공식화하고, 목표 구축(target construction)을 네 가지 약속(commitments)으로 분해합니다: 평가 대상(the evaluative object), 사전 허용성(prior admissibility), 할당(allocation), 그리고 실행(operationalization). 이 프레임워크에서, 우리는 선언된 공공 세계 사용(public-world use)을 위한 지리적 멤버십 해석(geographic-membership interpretation) 하에 지리적 사전 정보(geographic prior)를 인정합니다. 직업적 사전 정보(occupational prior)는 재직 해석(incumbency interpretation) 하에 노동력 구성 충실도(workforce-composition fidelity)와 같이 독립적으로 방어 가능한 객관적 기준을 요구합니다. 이 구축 방식을 AP-Bench에 적용했을 때, 지리 기반 목표로부터 0에서 1 사이의 척도상 0.508에서 0.606에 이르는 상당한 분포 차이(distribution divergence)를 발견했습니다. 생성물과 측정 방식을 고정한 채, 각 지리 기반 목표를 동일 범주 비교 대상(equal-category comparator)으로 교체했을 때, 모델별 평균 절대 셀 수준 $\mathrm{JSD}_2$ 변화는 0.279에서 0.355 사이로 나타났습니다. 따라서 목표 구축은 공정성 평가의 전제 조건이 아니라 그 자체로 평가의 구성 요소입니다. 우리가 제공하는 것은 보편적인 목표가 아니라, 특정 분포가 공정성 표준으로서 기능하기 전에 요구되는 정당화 과정을 명시적으로 만드는 프레임워크입니다.