비교할 것인가, 말 것인가: 사회적 편향(Social Bias) 평가의 방법론적 관행에 대하여

대규모 언어 모델(Large Language Models)이 중요한 애플리케이션에 점점 더 많이 배치됨에 따라, 모델의 사회적 편향(Social Bias)을 견고하게 평가하는 것이 무엇보다 중요해졌습니다. 그러나 현재의 문헌들은 광범위한 방법론적 파편화(methodological fragmentation)로 인해 서로 모순되는 결론을 내리는 문제를 겪고 있습니다. 이는 주로 벤치마크 수준 평가의 구조적 프레이밍(structural framing)을 무시하는 데서 기인합니다. 이를 해결하기 위해, 우리는 이질적인 벤치마크들을 표준화하여 고립된 인구통계학적 평가(isolated demographic assessments)와 강제 선택 비교 설정(forced-choice comparative settings)을 체계적으로 대조하는 통합적이고 제어 가능한 프레임워크를 도입합니다. 결정적으로, 이를 통해 우리는 사회적 편향 평가에서 사고 사슬(Chain-of-Thought, CoT) 추론, 중립적 대체 옵션(neutral fallback options), 그리고 기타 구조적 인위적 요소(structural artifacts)가 미치는 혼란 효과(confounding effects)를 분리해낼 수 있습니다. 여러 모델 제품군에 걸친 우리의 평가 결과는 거대하고 체계적인 패러다임 격차를 드러냅니다. 즉, 고립된 평가는 편견의 활성화를 제한하는 반면, 비교 설정은 잠재적 차별을 촉발하는 공격적인 촉매제 역할을 하며, 이러한 변화는 주로 불충분하게 명시된 맥락(underspecified contexts)에 의해 주도됩니다. 놀랍게도, CoT 추론은 비교 설정 하에서 사회적 편향을 악화시키며, 이러한 체계적 편향은 모델에게 중립적 대체 옵션이 제공되거나 무작위로 답변하겠다고 주장하는 경우에도 결정론적 편견으로서 지속됩니다. 마지막으로, 우리는 이러한 비교 편견이 모델 크기에 따라 양의 상관관계를 보이며 확장되는 일반화된 현상임을 입증합니다. 궁극적으로, 우리는 중요한 방법론적 가이드라인을 제시합니다. 연구자들은 숨겨진 편향을 견고하게 감사하기 위해 비교 설정을 활용해야 하지만, 실무자들은 모호한 실제 환경 작업에서 비교 방식의 배포를 안전하게 신뢰해서는 안 됩니다.