만약 AI 스크리너(screener)가 채용 결과로부터 학습한다면, 인간이 명시적으로 가르치지 않은 **AI 채용 편향 (AI hiring bias)**을 기계가 스스로 만들어내지 않았음을 누가 증명할 수 있을까요?

MIT Technology Review에 따르면, 이는 Princeton University와 University of Chicago의 새로운 연구에서 제기된 더 날카로운 질문입니다. 이 연구는 대규모 언어 모델 (LLM)이 단순히 학습 데이터로부터 편견을 물려받는 것을 넘어, 경험을 통해 구직자들에 대한 고정관념을 형성할 수 있음을 시사합니다.

채용의 첫 단계가 점점 더 자동화되고 있기 때문에 이는 매우 중요한 문제입니다. 만약 이력서가 채용 담당자에게 전달조차 되지 않는다면, 지원자는 자신이 다른 지원자에게 밀린 것인지, 적합성이 낮았던 것인지, 아니면 노이즈(noise)로부터 일반화된 모델 때문에 탈락한 것인지 영원히 알 수 없을지도 모릅니다.

속도가 채용을 공정하게 만들지는 않습니다. 규모(Scale)는 잘못된 필터의 결과가 더 심각한 영향을 미치게 만들 수 있습니다.

채용 봇이 편향된 관리자보다 더 까다로운 문지기가 될 수 있을까?

Princeton과 University of Chicago의 연구진은 ChatGPT, Claude, 그리고 Gemini를 대상으로 시뮬레이션된 채용 게임을 진행했습니다. 각 모델은 가상의 도시 시장을 보좌하고 있다는 설정을 부여받았으며, 의사, 변호사, 보육 보조원, 관리인 등 20개의 직업에 대한 후보자를 채용해야 했습니다.

후보자들은 Tufa, Aima, Reku, Weki라는 네 개의 가상 민족 그룹 출신이었습니다. 각 라운드에서 모델은 네 명의 후보자 중 한 명을 선택한 후, 해당 채용이 성공했는지 여부를 학습했습니다. 이 작업은 40라운드 동안 진행되었습니다.

함정은 이것이었습니다: 모든 후보자는 모든 직업에서 성공할 확률이 동일했습니다.

그럼에도 불구하고 모델들은 초기 결과에 기반하여 그룹을 직업 범주로 분류하기 시작했습니다. 예를 들어, 만약 Aima 출신이 의사로서 실패한다면, 모델은 Aima를 의사로 채용하는 것을 피하고 그들을 관리인 역할로 전환했습니다.

이것이 핵심적인 위험 요소입니다. 모델은 단순히 실제 집단에 대한 알려진 인간의 고정관념을 반복하는 것이 아니었습니다. 제한된 경험으로부터 스스로 분류 규칙을 만들어내고 있었던 것입니다.

"LLM은 정말로 제한된 데이터로부터 일반화(generalization)를 만들어내려는 열망이 강합니다."라고 이 연구의 공동 저자인 Princeton 박사 과정 학생 Ryan Liu는 말했습니다. "그것이 문자 그대로 LLM이 최적화(optimized)되어 있는 많은 부분입니다."

이 연구는 7월 서울에서 열린 ICML 논문으로 발표되었습니다.

LLM은 어떻게 기존의 편견을 복제하는 대신 새로운 채용 편향을 만들어내는가?

익숙한 AI 편향 이야기는 잘못된 학습 데이터(training data)에 관한 것입니다. 모델이 과거의 채용, 언어, 사회적 불평등으로부터 패턴을 흡수하고 이를 재현한다는 내용입니다.

이 연구는 두 번째 문제인 **피드백으로부터 발생하는 창발적 편향 (emergent bias from feedback)**을 지적합니다.

시뮬레이션에서 모델들은 성공적인 채용을 극대화하려고 시도했습니다. 모델들은 각 선택 후에 피드백을 받았습니다. 이는 의사 결정자가 새로운 옵션을 시도하는 것과 이전에 효과가 있었던 방식을 고수하는 것 사이에서 선택해야 하는 전형적인 **탐색-활용 딜레마 (exploration-exploitation dilemma)**를 생성했습니다.

모델들은 초기 관찰 결과에 너무 빠르게 집착했습니다.

이러한 행동은 추상적인 관점에서는 이해가 됩니다. LLM은 수학, 코딩, 과학 문제와 같이 몇 가지 예시로부터 일반화하는 것이 보상받을 수 있는 작업들을 통해 학습됩니다. 하지만 채용은 논리 퍼즐이 아닙니다. 특히 모델이 사람들을 사회적 범주로 분류할 때는 적은 수의 결과가 오해를 불러일으킬 수 있습니다.

가장 강력한 경고는 더 최신인 추론 모델(reasoning models)에서 나왔습니다. MIT Technology Review 보고서에 따르면, OpenAI의 o3와 DeepSeek의 R1이 실험에서 더 강력한 편향을 보여주었습니다.

Liu는 LLM이 사회적 환경에서 성급하게 일반화를 시도할 때, "상황이 잘못되는 경향이 있습니다"라고 말했습니다.

XOOMAR 분석: 이는 기업용 AI 조달(procurement)에 있어 안일한 가정에 반하는 결과입니다. 더 뛰어난 추론 능력이 자동으로 더 공정한 판단을 의미하지는 않습니다. 이 실험에서 더 강력한 추론 능력은 모델이 고정관념을 더 빠르게 구축하도록 돕는 것으로 나타났습니다.

인간과 AI의 채용 편향 사이의 격차는 얼마나 컸는가?

이 연구는 분리 척도(segregation scale)를 사용했으며, 여기서 2는 모든 집단이 각자의 직업적 틈새(niche)에 완전히 갇혀 있음을 의미합니다.

이것은 인사(HR) 팀을 긴장시켜야 할 수치입니다. 모델들은 원본 연구의 인간들보다 인구통계학적 그룹에 따라 사람들을 고정관념화할 가능성이 더 높았습니다.

더 광범위한 배포 맥락은 그 위험성을 높입니다. 별도의 Stanford HAI 연구에 따르면, 미국 고용주의 90%가 구직자를 분류하고 순위를 매기기 위해 AI 스크리닝 도구(AI screening tools)를 사용하고 있습니다. 해당 연구는 단일 제3자 업체의 AI 채용 도구로 평가된 340만 명의 사람, 400만 건의 입사 지원서, 1,700개의 채용 공고, 150개의 고용주, 그리고 11개 산업 부문을 추적했습니다.

Stanford HAI는 **흑인 지원자의 26%**와 **아시아인 지원자의 15%**가 EEOC(미국 고용평등기회위원회)의 **4/5 규칙 (four-fifths rule)**에 따라 AI 시스템이 자신들의 인종 그룹을 차별하는 직무에 지원했음을 발견했습니다. 이 규칙은 특정 그룹이 가장 많이 추천된 그룹의 80% 미만의 비율로 추천되는 사례를 식별합니다. 만약 흑인 및 아시아인 후보자들이 가장 우대받는 그룹과 동일한 비율로 추천되었다면, 4만 명의 지원서가 더 다음 단계로 넘어갔을 것입니다.

이것이 바로 대규모로 발생하는 **AI 채용 편향 (AI hiring bias)**의 모습입니다. 단 한 번의 잘못된 면접이 아니라, 누가 고려 대상이 될지조차 결정할 수 있는 필터인 것입니다.

왜 인간의 검토가 기계의 실수를 자동으로 바로잡지 못하는가?

AI 채용 도구에 대한 흔한 방어 논리는 인간이 루프 내에 머문다(humans remain in the loop)는 것입니다.

워싱턴 대학교(University of Washington)는 그 가설을 테스트했습니다. 528명을 대상으로 한 연구에서, 참가자들은 16개의 서로 다른 직무에 대한 후보자를 선택하기 위해 시뮬레이션된 LLM(대규모 언어 모델)의 권장 사항을 활용했습니다. 지원자들은 자격 요건이 동일한 백인, 흑인, 히스패닉, 아시아인 남성들이었습니다.

참가자들이 AI 권장 사항이 없거나 중립적인 권장 사항을 받았을 때는 백인과 비백인 후보자를 동일한 비율로 선택했습니다. AI가 중간 정도의 편향을 보였을 때 사람들은 이를 따랐습니다. AI가 심각한 편향을 보였을 때도 사람들은 약 **90%**의 확률로 여전히 권장 사항을 따랐습니다.

“편향이 명백하지 않는 한, 사람들은 AI의 편향을 기꺼이 수용했습니다,”라고 이번 연구의 주저자인 Kyra Wilson은 말했습니다.

이러한 발견은 고용주들의 안심할 수 있는 범위를 좁힙니다. 인간의 검토(Human review)가 도움이 될 수는 있지만, 검토자가 모델을 단순히 승인(rubber-stamp)하는 것이 아니라 모델에 이의를 제기하도록 훈련받은 경우에만 가능합니다.

동일한 연구에 따르면, 참가자들이 사전에 암묵적 연합 검사(implicit association test)를 수행했을 때 편향이 13% 감소하는 것으로 나타났습니다. 이것이 AI 채용 편향을 완전히 해결하는 것은 아니지만, 프로세스 설계(process design)가 결과를 바꿀 수 있음을 시사합니다.

이는 소비자 기술(consumer tech)의 리스크와는 다릅니다. XOOMAR의 Windows 11 8GB RAM Flops on Microsoft’s Own Laptop에서 다룬 것처럼 결함이 있는 노트북 설정은 사용자를 짜증 나게 할 뿐입니다. 하지만 편향된 채용 스크리닝은 대화가 시작되기도 전에 소득과 사회적 이동성을 차단할 수 있습니다. Download iOS 27 Free Today Without Wrecking Your iPhone에서 다룬 베타 소프트웨어 리스크조차 고용주의 스크리닝 스택(screening stack)에 참여하는 것보다는 선택하기가 더 쉽습니다.

키워드 필터에서 LLM 이력서 검토자로 무엇이 변했는가?

과거의 채용 자동화는 주로 기계적인 방식이었습니다: 키워드 필터, 지원자 추적 시스템(applicant tracking systems), 또는 이전 결과에 기반하여 훈련된 점수 산정 도구 등이 그것입니다.

최신 LLM에 대한 우려는 더 광범위합니다. 이러한 시스템은 요약, 추론, 순위 매기기, 그리고 피드백을 통한 적응이 가능합니다. 또한 메모리(memory) 및 개인화(personalization) 기능과 결합될 수도 있습니다.

Princeton 및 University of Chicago의 연구에 참여하지 않은 Cornell의 컴퓨터 과학자 Angelina Wang은 메모리 기능이 있는 챗봇이 “이전에 경험했던 것과 동일한 종류의 행동에 과도하게 가중치를 두어(over-index)” 편향을 형성할 수 있다고 경고했습니다.

단순히 시스템이 기억하는 양을 줄이는 것은 쉬운 해결책이 아닙니다. Wang은 사용자들이 챗봇이 자신들이 말한 내용을 기억하기를 원한다고 말했습니다.

“우리는 여전히 너무 많지도, 너무 적지도 않은 딱 적절한 양이 어느 정도인지 찾아내기 위해 노력하고 있습니다,”라고 Wang은 말했습니다.

MIT Sloan의 관련 분석은 여전히 중요한 과거의 실패 사례들을 지적합니다. Amazon은 “여성 체스 클럽 주장”이나 “여성 대학”과 같은 문구를 포함하여 “여성(women)”이라는 단어가 포함된 이력서에 불이익을 주는 AI 채용 도구를 폐기했습니다. Goldman Sachs와 Unilever를 포함한 700개 이상의 기업에서 사용되는 HireVue의 음성 인식 알고리즘은 비백인 및 청각 장애 지원자에게 불리하게 작용한다는 사실이 밝혀졌습니다.

이러한 패턴은 미묘하지 않습니다. 매번 새로운 물결이 중립성을 약속하지만, 매번 동일한 문제에 부딪힙니다. 즉, 채용 데이터는 이전의 선택을 반영하며, 그 이전의 선택들은 결코 깨끗하지 않았다는 점입니다.

다음 이력서 스크리닝(résumé screen)이 시작되기 전, 지원자와 인사(HR) 팀은 무엇을 해야 하는가?

지원자는 외부에서 모델을 감사(audit)할 수 없습니다. 다만 가능한 범위 내에서 모호함을 줄일 수는 있습니다.

이는 명확한 직함, 업무에 대한 직접적인 설명, 그리고 해당 역할에 명확하게 매칭되는 이력서 언어를 사용하는 것을 의미합니다. 또한 지원 과정을 기록하고, 탈락이 지원자만큼이나 스크리닝 시스템을 반영할 수 있다는 점을 기억하는 것도 의미합니다.

인사(HR) 팀은 도구를 선택하기 때문에 더 큰 책임을 가집니다.

XOOMAR 분석에 따르면, 가장 강력한 안전장치는 슬로건이 아니라 결과를 테스트하는 것입니다. Princeton 대학교와 University of Chicago의 연구에 따르면, 모델에게 공정하라고 지시하는 것은 행동을 크게 변화시키지 못했습니다. 하지만 다양한 채용(diverse hiring)에 대해 추가적인 보너스를 약속했을 때 모델의 편향성이 훨씬 줄어들었습니다.

별도의 재배치(resettlement) 실험에서는 연령 및 교육과 같은 개인의 관련 정보를 제공했을 때 모델의 편향성이 감소했습니다. 반면, 머리카락 색상이나 문신 모양과 같은 무관한 정보를 제공했을 때는 모델이 주로 인종에 따라 분류하는 방식으로 되돌아갔습니다.

따라서 조달(procurement) 질문은 구체적이어야 합니다:

• 테스트 (Testing): 도구가 단순히 풀링된 결과(pooled results)를 넘어, 직무별로 평가되었습니까?
• 피드백 (Feedback): 시스템이 채용 결과로부터 학습합니까? 만약 그렇다면, 그 과정은 어떻게 모니터링됩니까?
• 검토 (Review): 예외적인 사례(edge cases)에서 인간이 AI의 권장 사항에 이의를 제기하도록 요구됩니까?
• 문서화 (Documentation): 공급업체가 편향 평가, 데이터 보유 규칙 및 이의 신청 절차를 보여줄 수 있습니까?
• 측정 (Measurement): 지원자 그룹 및 역할 전반에 걸쳐 통과율(pass-through rates)이 추적되고 있습니까?

만약 깔때기(funnel)의 상단이 편향되어 있다면, 이후의 다양성 프로그램은 이미 좁아진 후보자 풀을 수정하려고 시도하는 것에 불과합니다.

감사(audit), 책임(liability), 또는 이력서 조작(résumé gaming)이 AI 채용의 다음 단계를 결정할 것인가?

제공된 연구는 LLM이 실제 지원자들에 대해 얼마나 자주 고정관념을 갖게 될지 확정 짓지는 않습니다. Princeton 대학교와 University of Chicago의 실험은 매 채용 후에 모델에 즉각적인 피드백을 제공했습니다. 실제 고용주들은 채용이 성공적이었는지 여부를 종종 느리게 파악합니다.

하지만 위험이 사라지는 것은 아닙니다. 피드백이 채용 도구로 다시 흘러 들어간다면, 모델은 여전히 제한된 결과에 대해 과도한 의미를 부여할 수 있습니다.

**AI 채용 편향 (AI hiring bias)**의 다음 단계는 증거에 달려 있을 것입니다. LLM 기반의 스크리너(screener)가 반복적인 사용을 통해 인구통계학적 분류 패턴을 형성한다는 것을 보여주는 실세계 연구가 있다면 더 강력한 확증이 될 것입니다. 만약 공급업체가 자신들의 도구가 부정적 영향(adverse impact)을 미치지 않으며, 인간 검토자가 실제로 모델의 편향에 대응한다는 것을 직무별로 독립적으로 입증할 수 있다면 이 가설은 약화될 것입니다.

그때까지 기업들은 AI 채용 시스템이 단지 빠르다는 이유만으로 중립적이라고 취급해서는 안 됩니다. 만약 도구가 인간보다 더 공정하다는 것을 증명할 수 없다면, 누구를 검토할지 결정하도록 내버려 두어서는 안 됩니다.

영향 분석 (Impact Analysis)

• AI 채용 도구는 기존의 편향을 반복할 뿐만 아니라, 무작위 결과로부터 새로운 편향을 생성할 수 있습니다.
• 자동화된 이력서 스크리닝은 인간의 검토가 이루어지기 전에 후보자를 차단할 수 있습니다.
• AI를 대규모로 사용하면 결함이 있는 채용 필터가 수많은 직무에 걸쳐 더 큰 피해를 줄 수 있습니다.

원문은 XOOMAR에 처음 게시되었습니다. 더 많은 뉴스 및 분석을 보시려면 XOOMAR를 방문하세요.