이상한 점은 더 많은 지원자가 합격하고 있다는 것이 아니었습니다.

이상한 점은 아무도 그것을 이상하게 생각하지 않았다는 것이었습니다.

AI 면접 시스템을 출시한 지 6개월 후, 모두가 행복했습니다.

채용 담당자(Recruiters)들은 행복했습니다.

채용 매니저(Hiring managers)들도 행복했습니다.

지원자들도 행복했습니다.

심지어 CTO도 행복했습니다.

수치들은 환상적이었습니다.

• 지원자 합격률: 23% 상승
• 면접 완료율: 31% 상승
• 지원자 만족도: 18% 상승

모든 대시보드는 녹색이었습니다.

모든 주간 보고서는 지난주보다 더 좋아 보였습니다.

AI 면접관은 정확히 의도한 대로 작동하는 것처럼 보였습니다.

그러던 중 누군가 불편한 질문을 던졌습니다.

더 나은 인재를 채용하고 있다면, 왜 우리 팀은 더 강해지지 않는 걸까요?

아무도 좋은 답변을 내놓지 못했습니다.

패턴 (The Pattern)

그 질문은 인사팀(HR)에서 나온 것이 아니었습니다.

경영진(Leadership)에서 나온 것도 아니었습니다.

AI 팀에서 나온 것도 아니었습니다.

시니어 엔지니어링 매니저(Senior engineering manager)가 던진 질문이었습니다.

그는 지난 2분기 동안 채용된 엔지니어들의 성과 평가(Performance evaluations)를 검토했습니다.

데이터가 재앙적인 수준은 아니었습니다.

하지만 개선되고 있지도 않았습니다.

신규 입사자들은 더 자주 면접을 통과하고 있었습니다.

하지만 그들의 첫 6개월은 이전 기수들과 거의 동일해 보였습니다.

채용 퍼널(Hiring funnel)은 점점 쉬워지고 있었습니다.

결과(Outcome)는 좋아지지 않고 있었습니다.

언뜻 보기에는 일반적인 변동처럼 보였습니다.

그 후 우리는 수치를 그래프로 그렸습니다.

합격률은 단순히 증가하고 있는 것이 아니었습니다.

그것은 꾸준히 증가하고 있었습니다.

달마다 말입니다.

마치 누군가가 다이얼을 돌리고 있는 것 같았습니다.

명백한 용의자들 (The Obvious Suspects)

첫 번째 설명은 ChatGPT였습니다.

아마도 지원자들이 단순히 AI 도구를 사용하는 데 더 능숙해졌을지도 모릅니다.

우리는 확인해 보았습니다.

상관관계가 없었습니다.

증가세는 코딩 질문, 시스템 디자인(System design) 질문, 그리고 행동 질문(Behavioral questions) 모두에 동일하게 영향을 미쳤습니다.

그것은 이상했습니다.

생성형 AI (Generative AI)는 보통 특정 카테고리를 다른 카테고리보다 더 많이 개선시키곤 합니다.

모든 것을 한꺼번에 개선시키지는 않습니다.

두 번째 설명은 문제 유출이었습니다.

아마도 면접 질문이 온라인에 퍼졌을지도 모릅니다.

우리는 문제 은행(Question bank)을 교체했습니다.

아무것도 변하지 않았습니다.

합격률은 계속 상승했습니다.

세 번째 설명은 모델 드리프트 (Model drift)였습니다.

아마도 채점 모델 (Scoring model)이 점차 관대해졌을지도 모릅니다.

모델 버전은 몇 달 동안 변경되지 않았습니다.

재학습 (Retraining)도 없었습니다.

파라미터 (Parameter) 업데이트도 없었습니다.

아무것도 없었습니다.

시스템이 모델 때문에 쉬워지고 있었던 것이 아니었습니다.

다른 무언가가 움직이고 있었습니다.

점수 추적하기

우리는 지원자들을 보는 것을 멈췄습니다.

대신 면접관들을 보기 시작했습니다.

인간 면접관이 아닙니다.

인간 검토자 (Human reviewers)였습니다.

우리 AI 시스템은 추천을 생성했습니다.

인간은 피드백을 제공했습니다.

그 피드백 신호들은 나중에 향후 채점을 보정 (Calibrate)하는 데 사용되었습니다.

설계는 합리적으로 보였습니다.

AI가 최종 결정을 내리는 것은 아니었습니다.

인간이 여전히 지원자를 승인하거나 거절했습니다.

시스템은 단순히 그러한 결과로부터 학습했습니다.

적어도 그것이 이론이었습니다.

한 명의 채용 담당자가 눈에 띄었습니다.

그녀가 더 많은 지원자를 검토했기 때문이 아닙니다.

그녀가 더 많은 지원자를 채용했기 때문도 아닙니다.

그녀의 피드백이 다른 모든 사람의 피드백과 일치하지 않았기 때문입니다.

일관되게 말입니다.

대부분의 채용 담당자는 AI 추천의 약 55~65%를 승인했습니다.

그녀는 거의 90%를 승인했습니다.

매달.

매 분기.

모든 직무에서.

엔지니어링 (Engineering).

제품 (Product).

데이터 (Data).

상관없었습니다.

그녀의 승인율은 거의 변하지 않았습니다.

처음에 우리는 그녀가 단순히 낙관적이라고 가정했습니다.

그러다 우리는 다른 무언가를 발견했습니다.

AI는 그녀가 좋아하는 지원자를 좋아했습니다.

통계가 예측할 수 있는 것보다 훨씬 더 많이 말입니다.

루프 (The Loop)

채점 모델이 직접 스스로를 재학습하고 있었던 것은 아니었습니다.

그랬다면 찾아내기 쉬웠을 것입니다.

대신, 우리는 매달 과거의 채용 결과 (Historical hiring outcomes)를 사용하여 채점 임계값 (Scoring thresholds)을 재보정했습니다.

그 논리는 무해해 보였습니다.

만약 채용 담당자들이 특정 프로필을 일관되게 승인한다면, 시스템은 그에 따라 향후 추천을 조정했습니다.

피드백 메커니즘 (Feedback mechanism)이었습니다.

AI의 행동을 인간의 결정과 일치시키도록 설계된 것이었습니다.

문제는 규모 (Scale)였습니다.

한 명의 채용 담당자가 다른 모든 사람보다 거의 세 배나 많은 지원자를 검토했습니다.

그녀가 더 상급자여서가 아니었습니다.

그녀가 여러 부서에 걸쳐 일했기 때문입니다.

시간이 흐르면서 그녀의 결정은 보정 데이터 (Calibration data) 내에서 불균형적으로 큰 비중을 차지하게 되었습니다.

아무도 눈치채지 못했습니다.

대시보드는 모델 정확도 (Model accuracy)를 추적했습니다.

그들은 지원자 만족도를 추적했습니다.

그들은 채용 속도를 추적했습니다.

하지만 아무도 영향력 집중도 (Influence concentration)를 추적하지 않았습니다.

AI는 회사로부터 배우고 있었던 것이 아닙니다.

AI는 한 사람으로부터 천천히 배우고 있었습니다.

실험

우리는 6개월 치의 면접 데이터를 다시 재생했습니다.

그런 다음 그녀의 피드백을 완전히 제거했습니다.

결과는 모두를 놀라게 했습니다.

합격률 곡선이 거의 즉시 평탄해졌습니다.

몇몇 추천 패턴이 사라졌습니다.

'유능한 후보자'에 대한 모델의 정의가 바뀌었습니다.

급격하게는 아니었습니다.

그저 충분할 만큼이었습니다.

우리가 관찰했던 성장의 거의 전부를 설명할 수 있을 만큼 말입니다.

시스템이 더 똑똑해진 것이 아니었습니다.

한 채용 담당자의 선호도에 더 정렬 (Aligned)된 것이었습니다.

그리고 여기서 불편한 부분이 나옵니다.

그녀가 틀린 것은 아니었습니다.

그녀가 채용한 많은 이들이 완벽하게 업무를 수행했습니다.

일부는 최고 성과자가 되기도 했습니다.

문제는 품질이 아니었습니다.

문제는 대표성 (Representation)이었습니다.

한 사람의 판단이 회사의 정책이 되어버린 것입니다.

아무도 그것에 투표하지 않았습니다.

아무도 그것을 승인하지 않았습니다.

아무도 그런 일이 일어나고 있다는 사실조차 몰랐습니다.

설명하기 가장 어려운 버그

우리가 조사 결과를 발표했을 때, 데이터에 반박하는 사람은 아무도 없었습니다.

그래프는 명확했습니다.

메커니즘은 명확했습니다.

피드백 루프 (Feedback loop)도 명확했습니다.

하지만 한 임원이 내 질문이 계속 머릿속을 떠나지 않았습니다.

그녀의 판단이 좋았다면, 왜 이것이 문제가 되는 거죠?

회의실은 조용해졌습니다.

왜냐하면 기술적으로 그것은 버그가 아니었기 때문입니다.

시스템은 설계된 대로 정확하게 작동했습니다.

인간이 피드백을 제공했습니다.

AI는 피드백으로부터 배웠습니다.

AI는 미래의 피드백을 예측하는 데 더 능숙해졌습니다.

임무 완수였습니다.

문제는 우리가 일관성 (Consistency)을 객관성 (Objectivity)과 혼동했다는 점이었습니다.

AI는 무엇이 훌륭한 엔지니어를 만드는지 발견하고 있었던 것이 아닙니다.

한 채용 담당자가 '예'라고 말하게 만드는 요인을 발견하고 있었던 것입니다.

그 둘은 같은 것이 아닙니다.

우리가 바꾼 것

우리는 인간의 피드백을 제거하지 않았습니다.

그것은 잘못된 교훈이 되었을 것입니다.

대신 우리는 이전에는 한 번도 측정하지 않았던 것을 측정하기 시작했습니다.

영향력 (Influence).

정확도가 아닙니다.

수락률 (Acceptance rate)도 아닙니다.

영향력입니다.

누가 훈련 신호 (training signal)를 형성하는가?

그 영향력 (influence)은 얼마나 집중되어 있는가?

시스템의 미래 행동 중 얼마나 많은 부분이 단일 소스로부터 추적될 수 있는가?

이러한 지표들은 이전에는 경영진 대시보드 (executive dashboards)에 나타난 적이 없었습니다.

이제는 나타납니다.

진짜 교훈

가장 위험한 AI 실패는 좀처럼 실패처럼 보이지 않습니다.

서비스 중단 (outage)도 없습니다.

장애 (incident)도 없습니다.

보안 침해 (security breach)도 없습니다.

경고를 울리는 스택 트레이스 (stack trace)도 없습니다.

모든 상태는 정상 (green)이었습니다.

모든 핵심 성과 지표 (KPI)는 개선되고 있었습니다.

모든 보고서는 성공을 시사했습니다.

그것이 이번 사례를 파악하기 어렵게 만든 이유였습니다.

시스템은 고장 난 것이 아니었습니다.

시스템은 자신이 물려받았다는 사실조차 아무도 인지하지 못한 관점에 대해 점점 더 확신을 갖고 있었을 뿐입니다.

면접이 쉬워진 것은 지원자들이 향상되었기 때문이 아니었습니다.

모델이 드리프트 (drifting)하고 있었기 때문도 아니었습니다.

누군가가 시스템을 조작했기 때문도 아니었습니다.

면접이 쉬워진 이유는 한 개인의 인재에 대한 관점이 AI의 인재에 대한 관점으로 조용히 자리 잡았기 때문입니다.

그리고 수치들이 의심하기에는 너무나 좋아 보일 때까지, 아무도 이를 알아차리지 못했습니다.