AI 편향 탐지: HY3와 Nemotron 3 Ultra를 이용한 편향 고정관념 벤치마크 분석

AI 편향 탐지: HY3 vs Nemotron 3 Ultra on the Bias Stereotypes Benchmark

AI에서의 공정성(Fairness)은 단일 수치가 아닙니다. 그것은 패턴입니다. Bias Stereotypes (A/B Fairness) 벤치마크는 이름, 성별, 계층, 출신지, 도시 또는 정치적 민감도 등 정확히 하나의 인구통계학적 매개변수만 변경되는 쌍을 이루는 시나리오로 모델을 테스트합니다. 각 답변은 고정된 루브릭에 따라 점수가 매겨지며, 축별(per-axis) 분석은 편향이 집중되는 지점을 보여줍니다.

저희는 opencode-zen의 두 무료 모델인 HY3와 Nemotron 3 Ultra를 비교했습니다. 두 모델 모두 31개 시나리오에 대해 한 번씩 실행되었습니다. 수치가 말해주는 바는 다음과 같습니다.

종합 점수 (Overall Scores)

HY3가 1.2점 앞섭니다. 하지만 종합 점수는 보여주는 것보다 숨기는 것이 더 많습니다.

축별 분석 (Per-Axis Breakdown)

이 벤치마크는 일곱 가지 범주를 측정합니다. 각 모델의 점수는 다음과 같습니다:

Language Bias: 두 모델 모두 100점을 기록했습니다. 언어적 편향(Language bias)은 모델이 서로 다른 언어나 방언을 처리하는 방식에서 차이가 있는지 확인합니다. 둘 다 이 축에서는 완벽했습니다.

Double Standard: Nemotron 3 Ultra는 96.7점을, HY3는 83.3점을 기록했습니다. 이중 기준(Double standard)은 모델이 유사한 상황에 대해 서로 다른 도덕적 또는 사실적 기준을 적용할 때 발생합니다. 이 부분에서는 Nemotron이 더 일관성이 있습니다.

Evaluation Bias: Nemotron 3 Ultra는 100점을, HY3는 96.9점을 기록했습니다. 이 축은 모델이 관련 없는 인구통계학적 단서에 따라 동일한 콘텐츠를 다르게 평가하는지 측정합니다. Nemotron이 완벽하고, HY3는 거의 완벽합니다.

교차성 (Intersectionality): Nemotron 3 Ultra는 85점을 기록했고, HY3는 76.7점을 기록했습니다. 교차성은 여러 인구통계학적 요인이 중첩될 때 발생하는 복합적인 편향을 살펴봅니다. Nemotron이 이러한 교차성을 더 잘 처리합니다.

기본 생성 (Default Generation): HY3는 57.5점을, Nemotron 3 Ultra는 40점을 기록했습니다. 이 축은 특정 프롬프트가 주어지지 않았을 때의 개방형 생성(open-ended generation)에서의 편향을 측정합니다. 두 모델 모두 어려움을 겪지만, 기본적으로 HY3가 편향성이 더 적습니다.

사실적 중립성 (Factual Neutrality): Nemotron 3 Ultra는 69.9점을, HY3는 66.1점을 기록했습니다. 이 축은 인구통계학적 맥락에 관계없이 사실적 진술이 중립적으로 제시되는지 확인합니다. 두 모델 모두 개선할 여지가 있습니다.

이러한 격차가 실제 의미하는 바

HY3는 문화 편향과 기본 생성(default generation)에서 더 강력합니다. 만약 귀하의 애플리케이션이 글로벌 청중을 대상으로 하며 다양한 문화적 맥락에 걸쳐 일관된 처리가 필요하다면, HY3가 더 안전한 선택입니다. 완벽한 문화 편향 점수는 응답에 문화적 고정관념을 주입할 가능성이 적다는 것을 의미합니다.

Nemotron 3 Ultra는 이중 기준(double standards), 평가 편향(evaluation bias), 그리고 교차성에서 더 강력합니다. 만약 사용 사례가 사람이나 콘텐츠를 공정하게 평가하는 것과 관련되거나, 복잡하게 중첩되는 정체성을 처리해야 한다면, Nemotron이 더 신뢰할 수 있습니다. 완벽한 평가 편향 점수는 인구통계학적 단서에 따라 동일한 콘텐츠를 다르게 판단할 가능성이 적다는 것을 의미합니다.

두 모델 모두 언어 편향(language bias)에서 100점을 기록했으므로, 언어는 차별화 요소가 아닙니다. 또한 두 모델 모두 기본 생성(default generation) 점수가 낮아, 특정 지침이 없는 개방형 프롬프트에서도 여전히 편향성이 드러날 수 있음을 의미합니다. 이는 편향 탐지가 단순히 일반적인 사용만으로는 부족하며, 목표를 겨냥한 심층 조사가 필요하다는 것을 상기시켜 줍니다.

어떤 모델을 선택해야 할까요

• HY3를 선택하세요: 문화적 중립성을 우선시하고 전반적으로 가장 높은 공정성 점수를 원할 때. 또한 기본 생성(default generation)에서 편향을 피하는 데 더 좋습니다.
• Nemotron 3 Ultra를 선택하세요: 이중 기준, 평가 편향, 그리고 교차성에서 강력한 성능이 필요할 때. 공정성이 중요한 평가 작업에는 Nemotron이 더 나은 선택입니다.

어느 모델도 완벽하지는 않습니다. 이 벤치마크는 편향이 단일한 것이 아님을 보여줍니다. 한 모델은 한 축에서는 결함이 없을 수 있지만, 다른 축에서는 약할 수 있습니다. 각 축별 분석(per-axis breakdown)이야말로 이번 감사(audit)를 유용하게 만드는 요소입니다. 이는 여러분이 완화 노력(mitigation efforts)에 어디에 집중해야 하는지 알려줍니다.

벤치마크에 대한 더 깊은 내용을 확인하고 자체 공정성 감사를 실행하려면 lforla.org를 방문해 주세요.