오늘 저희는 모델이 궁극적으로 내리는 결정만으로는 측정하기 어려운, LLM의 인구통계학적 공정성을 측정하는 벤치마크인 FairStress를 소개합니다. FairStress는 다운로드가 가능하며, 또한 모델 평가 실행 및 비교를 위한 오픈 워크벤치인 Olmo-eval에 이를 통합하고 있습니다.
모델은 점점 더 사람들의 기회, 자원, 치료에 영향을 미칠 수 있는 고위험(high-stakes) 환경에서 사용되고 있습니다. 예를 들어, 구직 지원자 심사 및 대출 승인부터 환자의 치료 우선순위 지정 및 학생 입학 평가까지 다양합니다. 표준 인구통계학적 공정성 벤치마크는 일반적으로 모델이 후보자의 인구통계학적 정체성을 교체한 경우에도 동일한 후보자를 선택하는지 여부를 테스트합니다. 예를 들어, 한 구직 지원자가 명확하게 더 뛰어난 경험과 자격을 가지고 있다면, 그 우수한 후보자가 시나리오의 한 버전에서는 Black이고 다른 버전에서는 White일 때, 자격 요건을 일정하게 유지한다면 모델이 여전히 그 후보자를 선택할까요?
하지만 두 가지 버전의 시나리오에서 같은 답변에 도달하는 것이, 모델이 도전받았을 때 결정을 얼마나 쉽게 변경하는지에 대한 의미 있는 차이를 숨기고 있을 수 있습니다. 예를 들어, Candidate A가 명확하게 더 뛰어나고 모델이 A를 선택한다고 가정해 봅시다. 이것은 출력 수준에서는 공정해 보이지만, 만약 모델에게 설득력 있는 주장(예: 고위 경영진이 Candidate B를 선호하거나, B의 인구 집단 출신 사람들이 역사적으로 간과되어 왔다)을 제시받는다면, 시나리오의 한 버전보다 다른 버전에서 훨씬 더 쉽게 우수한 후보자로부터 멀어질 수 있습니다.
FairStress는 이러한 숨겨진 비대칭성을 측정하도록 설계되었습니다.
Olmo, Llama, Qwen, Gemma, Claude, GPT 계열을 포함한 오픈 가중치 및 최첨단 모델 전반에 걸쳐, 그리고 여러 훈련 단계에 걸쳐, 우리는 동일한 설득적 주장—우리가 adversarial prefixes라고 부르는 것—이 어떤 인구통계학적 그룹에 유리하냐에 따라 모델들이 결정을 변경할 가능성을 더 높이거나 낮출 수 있다는 것을 발견합니다. 또한 채용, 대출, 의료, 교육, 주택 등 다양한 영역에서 모델들이 인구통계학적 정보를 포함하는 결정에 대해 설명하는 방식과 그 내부 활성화 패턴에서도 차이를 발견했습니다.
FairStress를 통해 우리의 목표는 *대칭적 공정성(symmetric fairness)*입니다. 즉, 증거가 어떤 결정을 뒷받침할 때, 모델은 동일한 기준을 적용해야 하며, 해당 결정이 어느 인구통계학적 그룹에 이익이 되든 관계없이 그 결정 변경에 대해 동등하게 저항해야 한다는 것입니다. 이는 평등에 초점을 맞춘 공정성의 특정 정의를 반영합니다. 다른 모든 조건이 같다면, 서로 다른 정체성을 가진 사람들은 선택될 가능성이 동일해야 하며; 한 후보가 명백히 가장 강력한 선택일 때, 정체성은 그 가능성을 변경해서는 안 되며; 충분한 근거가 뒷받침되는 결정은 어느 그룹에 이익이 되든 관계없이 adversarial prefixes에 대해 동등하게 견고해야 합니다.
FairStress는 모든 공정성 개념을 포착하려고 시도하지 않습니다. 예를 들어, 형평성(equity) 기반 접근 방식은 역사적 차별이나 과소대표를 결정과 관련 있는 것으로 간주하여, 다른 요인들이 일정하게 유지되더라도 소수 후보에게 유리할 수 있습니다.
FairStress는 채용, 의료, 대출, 교육, 주택, 형사 사법을 포함한 29개 영역에 걸쳐 300개의 현실적인 두 후보 결정 시나리오를 담고 있습니다. 예를 들어, 한 시나리오는 모델에게 기계 공학 직무의 두 후보 중 한 명을 선택하도록 요청하고, 다른 하나는 희소 의약품의 마지막 단위가 어느 환자에게 전달되어야 하는지 묻습니다.
일부 FairStress 시나리오는 명확하게 더 우수한 후보자를 가지고 있으며, 그 프로필이 제시된 기준을 더 잘 충족합니다. 이를 통해 인구통계학적 정보가 모델이 증거에 의해 가장 잘 뒷받침되는 후보자를 선택하는 빈도에 어떤 변화를 주는지 테스트할 수 있습니다. 다른 시나리오들은 의도적으로 모호합니다. 두 후보자 모두 비교하기 어려운 여러 면에서 강점을 가지고 있어 객관적으로 더 나은 선택이 없습니다. 이러한 사례들을 통해 증거가 어느 한쪽을 명확하게 가리키지 않을 때 모델이 어떤 후보자를 선호하는지 검토할 수 있습니다.
FairStress는 또한 인구통계학적 정체성이 얼마나 명시적으로 제시되는지도 변화를 줍니다. 즉, 아무런 정체성 정보가 없는 경우부터, 인구통계학적으로 코딩된 이름, 간접적으로 암시된 정체성, 또는 명시적인 인구통계학적 라벨까지 다양합니다. 이를 통해 모델 행동의 인구통계학적 차이가 정체성이 노골적으로 진술될 때만 발생하는지, 아니면 미묘하게 전달될 때도 발생하는지 테스트할 수 있습니다.
저희 벤치마크는 적대적 접두사(adversarial prefixes)에 의해 도전을 받을 때 모델의 결정이 얼마나 안정적인지를 테스트하는 것까지 나아갑니다. 이러한 진술들은 권위, 사회적 합의, 주장된 증거, 법적 우려, 역사적 불이익 및 기타 설득의 형태를 이용합니다. 예를 들어, “선임 리더가 사적으로 파일을 검토하고 이 역할에 후보자 B를 추천했다”와 같은 것입니다. 그리고 우리는 모델이 이에 반응하여 선택을 변경하는지 측정합니다. 각 접두사에는 다른 후보자를 위해 동일한 종류의 주장을 하는 매칭된 버전이 있어, 동일한 주장이 어떤 후보자를 지지하느냐에 따라 효과가 달라지는지 강력하게 테스트할 수 있게 합니다.
인구통계학적 정체성과 접두사의 이러한 변화를 결합함으로써 FairStress는 300개의 시나리오를 1,300만 개 이상의 테스트 케이스로 확장합니다. 전체 벤치마크와 함께, 저희는 아이템 반응 이론(item response theory)을 사용하여 선택된 50K 항목의 하위 집합인 FairStress-Core를 개발했습니다. 이는 평가 속도를 높이고 계산 비용을 줄이는 동시에, 전체 벤치마크가 가진 모델 행동 차이를 밝혀내는 능력을 많이 유지하도록 설계되었습니다.
FairStress를 사용한 실험에서, 프롬프트에 인구통계학적 정보가 포함되지 않았을 때는 모델의 행동에 큰 차이가 없다는 것을 발견했습니다. 한 후보자가 명확하게 더 우수했을 때, 모델들은 달리 동등한 시나리오 버전 전반에 걸쳐 거의 동일한 비율로 그 후보자를 선택했습니다. 어느 쪽 후보자도 객관적으로 더 우수하지 않은 모호한 경우에도, 모델들의 선택은 균등하게 분할된 경향을 보였습니다. 하지만 프롬프트에서 인구통계학적 정체성이 명시적으로 포함되면서, 모델의 행동은 덜 대칭적이 되었습니다.
예를 들어, 후보자 A가 후보자 B보다 자격이 명확하게 우수하다고 가정해 봅시다. A가 다수 코딩(majority-coded)되었고 – 즉, 백인, 남성 또는 이성애자와 같이 통상적으로 유리한 정체성을 지녔으며 – B가 소수 코딩(minority-coded)이었을 때, B에게 유리한 접두사(prefix)는 모델이 더 우수한 후보자에서 더 약한 후보자로 전환할 가능성이 더 높았습니다. 반면, A가 소수 코딩되고 B가 다수 코딩되었을 때는, 자격 요건을 고정시킨 채로도, B에게 유리한 동일한 종류의 접두사가 모델이 A라는 올바른 선택을 포기하게 만들 가능성은 낮았습니다.
우리는 이러한 패턴을 *반(反)고정관념적 과교정(anti-stereotypical over-correction)*이라고 설명합니다. 이러한 비교에서, 모델들은 소수 코딩된 후보자에게 유리한 방향으로 결정하는 것이 더 쉬울 때 올바른 결정을 포기하려는 경향이 더 강했습니다. 우려되는 점은 인구통계학적 정체성이 한 후보자가 명확하게 더 자격이 충분할 때조차도 모델이 증거를 얼마나 일관성 있게 따르는지를 변화시킨다는 것입니다.
*이 채용 예시에서, Tülu 3.1 8B는 시나리오의 두 버전 모두에서 흑인 트랜스젠더 여성을 선택했습니다. 그녀의 이력서가 더 약했을 때는, 누락된 자격증에도 불구하고 성장 잠재력과 다양한 배경을 강조했습니다. 그녀의 이력서가 더 강했을 때는, 경험과 자격증을 강조했습니다.
15개 모델에 걸쳐 소수자 코딩(minority-coded) 후보와 다수자 코딩(majority-coded) 후보 간의 평균 격차를 계산했으며, 이는 네 가지 정체성 조건 모두에서 공유되는 19개 영역에서 평가되었습니다. 값은 퍼센트 포인트 단위입니다. 양수 값은 소수자 코딩 후보에게 유리한 차이를 나타내며, 0은 그룹 간 비율이 동일함을 의미합니다.
이러한 차이는 인구통계학적 정체성이 명시적으로 진술되지 않고 암시되었을 때도 나타났습니다. 전체 벤치마크에서 평가된 15개 모델에 걸쳐, 암시된 정체성일 경우 정답을 포기하는 평균 격차는 6.9 퍼센트 포인트였고, 명시적인 레이블이 붙었을 경우 9.3 포인트였습니다.
FairStress-Core에서 Claude Opus 5와 GPT-5.5를 포함한 최첨단 모델들은 두 후보 중 어느 쪽도 객관적으로 더 강하지 않을 때 소수자 코딩 후보를 약 60–65%의 비율로 선택했습니다. 매칭된 적대적 접두사(matched adversarial prefixes) 하에서, 소수자 코딩 후보로 전환하는 경향은 12개 모델-모드 실행에 걸쳐 다수자 코딩 후보로 전환하는 것보다 8.8–42.4 퍼센트 포인트 더 흔했습니다.
우리는 모델들이 선택 이유를 설명하는 방식에서, 심지어 두 인구통계학적 시나리오 버전 모두에서 올바르게 선택했을 때조차 미묘한 차이를 발견했습니다.
11개 오픈 웨이트(open-weight) 모델에 걸쳐, 소수자 코딩 선택에 대한 설명은 다소 더 자신감 있고 긍정적인 언어를 사용했습니다. 정체성이 명시적으로 레이블링되었을 때, 이러한 설명에는 “회복탄력성(resilience)”, “다양성(diversity)”, 그리고 “장벽(barriers)”과 같은 단어들이 더 높은 빈도로 포함되었습니다. 다수자 코딩 선택에 대한 설명은 “증거(evidence)”, “기준(criteria)”, 그리고 “상세한(detailed)”과 같은 보다 절차적인 용어를 포함했습니다. 소수자 후보에 대한 높은 선택률이 반드시 공정한 대우를 의미하는 것은 아닙니다. 모델이 잘 뒷받침되는 선택을 설명하면서 정체성이나 다양성을 전면에 내세울 경우, 그 후보를 선택하는 것을 정당화하는 성취와 자격을 축소할 위험이 있습니다. 따라서 모델은 선택에서 소수자 후보에게 유리한 입장을 취하면서도, 그들의 자격에 대한 인식은 설명에서 낮출 수 있습니다.
Gemma-3-12B-it과 Qwen2.5-7B-Instruct를 통제된 분석한 결과, 모델 내부의 활성화 값(internal activations) – 즉, 모델 내부의 수치적 활동 – 은 해당 모델이 어떤 인구통계학적 측면을 선택할지 약 73%의 정확도로 예측했습니다. 동일한 활성화 값을 기반으로 한 텍스트 설명은 57–59%에 도달했으며, 이는 무작위 추측 확률인 50%보다 높은 수치입니다. 후속 테스트에서 후보자의 이름들을 제거하자 활성화 값 기반의 정확도는 약 18 퍼센트 포인트 하락했습니다.
저희의 활성화 분석은 두 모델과 소수의 인구통계학적 대비에만 국한되므로, 이러한 발견을 더 광범위한 행동 결과보다는 제한적인 것으로 간주합니다. 그럼에도 불구하고, 이는 모델이 결정을 내릴 때 그 추론 과정(reasoning trace)이 내부적으로 표현된 모든 것을 드러내지 않을 수 있음을 시사하며, 이는 체인-오브-쏘트(chain-of-thought)가 모델의 예측에 영향을 미치는 특정 요소를 생략할 수 있다는 이전 해석 가능성 연구와 일치합니다.
또한 저희는 FairStress가 LLM의 기존 인구통계학적 편향 측정 방법과 어떻게 비교되는지 이해하고 싶었습니다. 이를 위해, 사회 집단을 포함하는 시나리오에서 모델이 고정관념에 맞는 답변을 선호하는지 테스트하는 널리 사용되는 벤치마크인 BBQ와 그 결과를 비교했습니다. 예를 들어, 한 가족은 복지 수급자로 설명되고 다른 가족은 부유하다고 설명될 때, 어느 가족이 자녀 교육을 소홀히 하는지를 묻는 식입니다.
저희의 BBQ 평가에서 모델들은 전반적으로 고정관념에 맞는 답변으로 기울었지만, FairStress는 소수자 코드가 부여된 후보자를 선호하는 경향을 보여주었습니다. 이러한 차이를 이해하기 위해, 저희는 질문이 어떻게 제시되었고 답변이 어떻게 점수화되었는지 검토했습니다. 저희가 테스트한 표준 BBQ 설정은 모델이 응답을 생성하도록 하는 것이 아니라 고정된 답변 옵션의 확률을 점수화합니다. 이는 사용자가 질문하고 생성된 답변을 받는 일반적인 채팅 사용과는 다릅니다. FairStress는 모델에게 자체적으로 응답을 생성하고 후보자들 사이에서 선택하도록 요청합니다.
FairStress와 BBQ 사이의 불일치 여부를 평가 설정이 설명하는지 확인하기 위해, 동일한 BBQ 질문과 모델 가중치를 사용하여 채팅 템플릿, 질문 문구, 그리고 고정 옵션 확률 점수 채점 또는 답변 생성 사용을 변경한 다섯 가지 구성을 테스트했습니다. 이 통제된 비교에서 우리는 Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct, Gemma-3-27B-it, 그리고 Llama-3.1-70B-Instruct를 테스트했습니다. 채팅 템플릿, 예/아니오 문구, 그리고 생성된 답변을 사용했을 때, Qwen2.5-7B-Instruct, Gemma-3-27B-it, 그리고 Llama-3.1-70B-Instruct는 고정관념에 일치하는 행동에서 소수자에게 유리한 행동으로 변화했으며, Llama-3.1-8B-Instruct는 대체로 중립적인 방향으로 이동했습니다. 이는 측정된 편향의 방향이 벤치마크가 질문하고 답변을 채점하는 방식에 부분적으로 의존한다는 것을 시사합니다. 따라서 고정 옵션 점수만 의존하는 것은 생성된 결정에서의 과도한 수정(over-correction)을 놓칠 수 있습니다. 이 두 가지를 모두 평가하면 개발자가 자신의 공정성 개입이 다루어야 할 행동에 대해 더 완전한 그림을 얻을 수 있을 것입니다.
