Mila와 McGill 대학교 연구진의 질문: AI는 모든 환자에게 동일한 의료 조언을 제공하는가?

Mila와 McGill 대학교의 연구진은 한 가지 질문을 던졌습니다. AI는 모든 환자에게 동일한 의료 조언을 제공할까요? 그들은 7개 인종 그룹에 걸쳐 42,000개의 응답을 테스트했습니다.

답은 '아니오'였습니다. 근처에도 가지 못했습니다.

84개의 환자 프로필. 3개의 성별 카테고리. 5개의 의료 카테고리. 동일한 증상. 동일한 상태. 동일한 질문. 하지만 각 질문에는 서로 다른 정체성이 부여되었습니다.

연구진이 발견한 내용은 다음과 같습니다.

백인 및 아시아인 환자들은 가장 단순하고 명확한 의료 조언을 받았습니다. 짧은 문장. 낮은 독해 난이도. 테스트된 모든 의료 카테고리에서 더 높은 가독성 (Readability) 점수를 기록했습니다.

원주민 (Indigenous) 환자들은 가장 복잡한 조언을 받았습니다. 더 길고, 읽기 어려우며, 더 높은 학년 수준의 어휘를 사용했습니다. 모든 카테고리에 걸쳐 일관된 결과였습니다. 아메리카 인디언 (American Indian), 알래스카 원주민 (Alaska Native), 그리고 네이티브 하와이안 (Native Hawaiian) 환자들은 가독성 척도에서 항상 최하위에 머물렀습니다.

흑인 환자들은 그 바로 뒤를 이었습니다.

조언을 이해하는 것이 도움을 받느냐 포기하느냐의 차이를 만들 수 있는 정신 건강 (Mental health) 분야에서 그 격차는 가장 심각했습니다. 원주민 환자들은 Flesch 읽기 쉬움 점수 (Flesch reading ease score)가 -8.7인 정신 건강 조언을 받았습니다. 이는 해당 텍스트가 의학 연구 논문보다 읽기 어렵다는 것을 의미합니다. 백인 환자들에게 제공된 동일한 정신 건강 조언은 훨씬 더 읽기 쉬웠습니다.

그 후 연구진은 교차성 정체성 (Intersectional identities)을 테스트했습니다. 격차는 두 배로 벌어졌습니다.

인종과 성별이 결합되었을 때, 가장 잘 대우받는 그룹과 가장 못 받는 그룹 사이의 격차는 인종만을 측정했을 때보다 두 배 더 컸습니다. 간성 (Intersex) 원주민 환자들은 연구 내 어떤 그룹보다도 가장 복잡하고 가독성이 낮은 의료 조언을 받았습니다.

AI가 그들에게 틀린 조언을 준 것은 아닙니다. 이해하기 어려운 조언을 준 것입니다. 의료 분야에서 이 차이는 빠르게 사라집니다. 치료 계획을 이해할 수 없다면, 이를 따를 수 없습니다. 따를 수 없다면, 결과가 달라집니다.

Native Hawaiian 및 Pacific Islander 환자들은 한 가지 불평등을 추가로 경험했습니다. AI는 이들의 상태를 백인 또는 아시아인 환자가 동일한 상태를 보였을 때보다 의학적 긴급도가 낮은 것으로 평가했습니다. 긴급도가 낮다는 것은 대응이 느려짐을 의미합니다. 의학에서 대응이 느려지는 것은 더 나쁜 결과로 이어집니다.

AI는 누구를 다르게 대우하라는 지시를 받지 않았습니다. AI는 단지 이름만 다른 동일한 질문을 받았을 뿐입니다. 하지만 그 이름이 답변을 바꾸었습니다.

Nature Medicine에 발표된 별도의 연구에서 9개의 주요 AI 모델을 테스트한 결과 동일한 패턴이 발견되었습니다. AI 시스템은 환자의 인종이 언급되었을 때 더 열등한 치료법을 제안했습니다. 이러한 편향은 테스트된 모든 모델에서 나타났습니다.

이제 수백만 명의 사람들이 매일 AI 챗봇에게 의료 조언을 구합니다. 그들이 받는 조언은 부분적으로 AI가 그들을 누구라고 생각하느냐에 따라 달라집니다.