Timnit Gebru는 연구 논문 철회 거부로 인해 2020년 12월 Google에서 해고되었으며, 그 논문이 거대 언어 모델(LLM)에

Timnit Gebru는 연구 논문 철회 거부로 인해 2020년 12월 Google에서 해고되었으며, 그 논문이 거대 언어 모델 (Large Language Models, LLM)에 대해 경고했던 모든 내용은 이제 업계가 4년 동안 사람들에게 잊히게 하려 노력했던 규모로 현실화되었습니다.

그녀의 이름은 Timnit Gebru입니다.

그녀는 Google의 Ethical AI 팀을 공동 이끌었습니다. 그녀는 University of Washington의 Emily Bender 및 다른 두 명의 연구원과 함께 "On the Dangers of Stochastic Parrots"라는 논문을 공동 집필했습니다. 이 논문은 14페이지 분량이었으며, 최고의 AI 윤리 컨퍼런스에 제출되었습니다. 그리고 이 논문은 Google이 AI 연구 분야에서 가장 선임급인 흑인 여성이 더 이상 그곳에서 일할 수 없다고 결정하게 된 이유가 되었습니다.

Google이 공개적으로 밝힌 이야기는 그녀가 사임했다는 것이었습니다. 하지만 그녀가 말한 이야기, 그리고 2,695명의 동료가 공개 서한을 통해 확인해 준 이야기는, 그녀가 휴가 중에 논문을 철회하거나 논문에서 자신의 이름을 삭제하는 것을 거부했다는 이유로 이메일을 통해 해고되었다는 것이었습니다.

그 논문은 아직 출판조차 되지 않은 상태였습니다.

그녀가 실제로 작성한 내용과, 그 안에 담긴 모든 예측이 왜 이제 현실이 되었는지에 대해 설명하겠습니다.

첫 번째 경고는 규모 (Scale) 그 자체에 관한 것이었습니다. Bender와 Gebru는 점점 더 커지는 인터넷 데이터 스크레이핑 (Scrapes)을 통해 점점 더 거대한 모델을 학습시키는 것이, 유창해 보이지만 실제로는 언어에 대한 이해가 없는 시스템을 만들어낼 것이라고 주장했습니다. 그들은 이러한 시스템이 통계적 확신을 가지고 이해력 없이 학습 데이터의 패턴을 반복하기 때문에 "확률적 앵무새 (Stochastic Parrots)"라고 불렀습니다. 논문은 이러한 겉으로 보이는 지능이 사용자들과 개발자 모두를 속여, 구조적으로 신뢰할 수 없는 출력물을 신뢰하게 만들 것이라고 예측했습니다.

이것은 2020년이었습니다. GPT-3가 막 출시되었을 때였습니다. 이 논문은 누구도 그 문제를 정의하기 전부터 환각 (Hallucination) 문제를 예측했습니다.

두 번째 경고는 편향 증폭 (Bias amplification)에 관한 것이었습니다. 해당 논문은 인터넷 규모의 학습 데이터 (Training data)가 지배적인 관점은 체계적으로 과잉 대표하고, 소외된 관점은 과소 대표한다는 점을 상세히 기록했습니다. 모델들은 단순히 이러한 편향을 흡수하는 데 그치지 않았습니다. 모델들은 이를 증폭시킬 것이었는데, 이는 최적화 (Optimization) 과정이 확신에 찬 출력을 보상하며, 언어 패턴에서의 확신은 학습 세트에서의 빈도와 일치하기 때문입니다.

당시의 예측은 이러한 모델을 기반으로 구축된 채용 도구들이 여성에 대해 차별할 것이라는 점이었습니다. 의료 분류 (Triage) 도구들이 흑인 환자들에게 저조한 성능을 보일 것이라는 점이었습니다. 대출 승인 시스템이 자신들의 결정을 중립적인 알고리즘적 판단으로 제시하면서도 불평등을 고착화할 것이라는 점이었습니다.

이 모든 일들이 이제 실제 배포 과정에서 문서화되었습니다.

Amazon의 채용 알고리즘은 어떤 맥락에서든 "women"이라는 단어가 포함된 이력서에 불이익을 주었습니다. 미국의 주요 병원들이 사용하는 의료 위험 점수 (Healthcare risk scoring) 알고리즘은 흑인 환자들의 의료적 필요를 체계적으로 과소평가하는 것으로 밝혀졌습니다. Apple Card의 신용 알고리즘은 동일한 재정 프로필을 가진 아내에게 남편보다 10배 낮은 신용 한도를 부여했습니다.

세 번째 경고는 환경적 비용 (Environmental cost)에 관한 것이었습니다. 논문은 단 하나의 거대 언어 모델 (Large language model)을 학습시키는 것이 자동차 5대의 평생 배출량과 맞먹는 배출량을 생성한다고 계산했습니다. 예측은 규모를 키우려는 경쟁이 결국 전체 산업에 필적하는 환경 발자국 (Environmental footprint)을 만들어낼 것이라는 점이었습니다.

2024년, Google의 배출량은 2019년 대비 48% 증가했으며, 회사는 명시적으로 AI 인프라 (AI infrastructure)를 그 원인으로 지목했습니다. Microsoft의 배출량은 동일한 이유로 29% 증가했습니다. 두 회사 모두 Gebru가 해고된 해에 공개적으로 축하했던 기후 공약들을 이제는 조용히 포기했습니다.

네 번째 경고는 문서화 (documentation)에 관한 것이었습니다. 해당 논문은 구축되고 있는 학습 데이터셋 (training datasets)이 너무 방대하여 실제로 그 누구도 감사 (audit)할 수 없다고 주장했습니다. Google, OpenAI, Meta 또는 그 어떤 연구소의 누구도 자신들의 모델이 학습된 데이터에 무엇이 들어있는지 확신을 가지고 말할 수 없었습니다. 이것은 나중에 해결될 일시적인 문제가 아니었습니다. 그것은 해당 접근 방식의 영구적인 특징이었습니다.

2023년, 연구자들은 Stable Diffusion 및 기타 주요 이미지 모델을 학습시키는 데 사용된 LAION-5B 데이터셋에 아동 성학대물 (child sexual abuse material) 이미지가 수천 장 포함되어 있다는 사실을 발견했습니다. 해당 데이터셋으로 학습한 기업들은 이를 알 방법이 없었습니다. 논문은 이러한 유형의 실패를 발견되기 3년 전에 이미 예측했습니다.

다섯 번째 경고는 Google이 가장 신경 썼던 부분이었습니다.

Bender와 Gebru는 이러한 시스템의 배포가 이러한 모델을 학습시킬 여력이 있는 소수의 기업의 손에 언어적 및 문화적 권력을 집중시킬 것이라고 주장했습니다. 인터넷은 지배적인 목소리들의 통계적 평균이 중립적인 비서로 제시되는, 즉 지배적인 목소리만이 존재하는 공간이 될 것입니다. 학습 데이터에서 과소 대표되는 (underrepresented) 언어들은 이러한 시스템에 의해 더 많은 웹 콘텐츠가 생성되고 이것이 다음 학습 과정에 다시 입력됨에 따라 시간이 지남에 따라 퇴보할 것입니다.

이것은 현재 실시간으로 일어나고 있습니다. 2024년의 한 연구에 따르면 영어로 된 새로운 웹 콘텐츠의 57%가 AI 생성 또는 AI 보조를 받은 것으로 나타났습니다. 저자원 언어 (low-resource languages)를 연구하는 연구자들은 번역 품질의 활발한 저하를 기록했는데, 이는 학습에 다시 입력되는 합성 콘텐츠 (synthetic content) 자체가 해당 언어들에서 더 나쁘기 때문입니다.

Google이 그녀를 해고하게 만든 그 논문은 모델 붕괴 (model collapse)라는 용어가 생기기도 전에 모델 붕괴 문제를 예측했습니다.

이 모든 일이 왜 일어났는지에 대한 이면의 메커니즘은 그녀의 연구 중 아무도 인용하지 않는 부분입니다.

Gebru의 주장은 AI가 어떤 추상적인 공상 과학(sci-fi)적인 의미에서 위험하다는 것이 아니었습니다. 그녀의 주장은 AI가 매우 구체적인 구조적 (structural) 의미에서 위험하다는 것이었습니다. 기술은 유사한 배경을 공유하고, 유사한 기업에서 근무하며, 경쟁사보다 제품을 더 빠르게 출시하는 것에 보상을 받는 소수의 연구자 그룹에 의해 구축되고 있었습니다. 이러한 인센티브 구조 (incentive structure)는 안전, 윤리, 그리고 편향 (bias)에 대한 우려가 어떤 작업도 늦추는 것을 불가능하게 만들었습니다. 시스템 내부에서 이러한 우려를 제기하는 사람은 무시되거나, 소외되거나, 혹은 제거되었습니다.

그녀는 Google 내부에서 바로 그 주장을 하고 있었습니다.

그리고 Google은 그녀를 제거함으로써 그녀가 옳았음을 증명했습니다.

Google이 자신들의 AI를 안전하게 만들기 위해 구축했던 팀은, 자신들에게 맡겨진 일을 수행했다는 이유로 90일 만에 해체되었습니다. Ethical AI 팀의 또 다른 공동 리더였던 Margaret Mitchell은 Gebru가 어떻게 대우받았는지에 대한 증거를 찾기 위해 자신의 이메일을 검색했다는 이유로 Gebru가 해고된 지 두 달 만에 해고되었습니다.

Gebru는 멈추지 않았습니다. 그녀는 2021년에 DAIR(Distributed AI Research Institute, 분산 AI 연구소)를 설립했습니다. 이 기관의 미션은 답변을 듣고 싶어 하지 않는 경제적 이해관계가 얽힌 기업들의 통제 밖에서 AI 연구를 수행하는 것입니다.

'Stochastic Parrots (확률적 앵무새)' 논문에서 예측된 모든 내용은 이제 배포를 통해 검증되었습니다. 환각 (Hallucinations) 현상은 거대 연구소들조차 해결하지 못하는 업계 전반의 문제입니다. 편향 증폭 (Bias amplification)은 채용, 의료, 대출, 그리고 형사 사법 분야에서 문서화되었습니다. 환경적 비용은 작은 국가 전체보다 더 큽니다. 학습 데이터 감사 (Training data audits)는 여전히 불가능한 상태로 남아 있습니다. 모델 붕괴 (Model collapse)는 모든 주요 연구소에서 진행 중인 연구 위기입니다.

진지하게 고민해 볼 가치가 있는 질문은 업계의 거의 누구도 입 밖으로 내지 않을 질문입니다.

이러한 문제들을 지적할 수 있는 기술적 신뢰도를 갖춘 모든 연구자는 2020년 12월에 그녀에게 일어난 일을 지켜보았고, 자신의 커리어에 대해 계산을 마쳤습니다. 그 해고 사건 이후 주요 AI 연구소 내부의 안전 및 윤리 문제에 대해 공개적으로 발언하려는 사람들의 수는 급감했으며, 지금까지 회복되지 않고 있습니다.

현재 일어나고 있는 일과 정확히 일치하는 경고를 했다는 이유로 Google에서 해고된 그 연구자는 옳았습니다.

그녀를 해고한 회사는 이제 그녀가 경고했던 기술을 두 번째로 크게 배포하는 기업이 되었습니다.

그리고 그 회사 내부에서 그녀의 의견에 동의하는 사람들은 그렇게 말하는 것이 허용되지 않습니다.