OpenAI 의 o1 이 하버드 시험에서 응급실 환자 진단률 67% 달성 vs 의사 50-55%

조지 클루니의 ER 에서 노아 와일의 The Pitt 에 이르기까지, 응급실 의사는 오랫동안 인기 있는 영웅이었습니다. 그러나 곧 스크럽을 내려놓는 시간이 올까요?

하버드 연구진이 개발한 획기적인 연구에서 AI 시스템이 고압 응급 의학 triage(진단) 에서 인간 의사를 능가했습니다. 이는 사람들이 병원에 처음 긴급하게 실려가는 생명을 위협하는 순간에 더 정확하게 진단하는 결과를 보였습니다.

독립 전문가들은 이 결과가 AI 의 임상 추론 (clinical reasoning) 에 '진정한 진전'이라고 묘사했으며, 수백 명의 의사 반응과 AI 를 비교한 시험의 일부였습니다.

저자들은 이 결과가 과학 저널에 발표된 바 있으며, 대형 언어 모델 (LLMs) 이 '임상 추론의 대부분의 벤치마크를 넘어섰음'을 보여준다고 말했습니다.

한 실험은 보스톤 병원 응급실에 도착한 76 명의 환자를 대상으로 진행되었습니다. AI 와 두 명의 인간 의사는 동일한 표준 전자 건강 기록을 읽도록 주어졌습니다 - 일반적으로 생체 신호 데이터, 인구 통계 정보 및 간호사의 몇 문장 (환자가 왜 그곳에 있는지) 을 포함했습니다. AI 는 67% 의 경우에서 정확한 또는 매우 가까운 진단을 식별하여 인간 의사 (50-55% 의 정확도) 를 능가했습니다.

이는 AI 의 우위가 triage 상황 (진단) 에서 최소한의 정보로 빠른 결정을 요구하는 상황에서 특히 두드러졌음을 보여줍니다. OpenAI 의 o1 추론 모델의 진단 정확도는 더 많은 정보가 제공될 때 82% 로 상승했으며, 이는 전문가 인간이 달성한 70-79% 와 비교되었습니다. 그러나 이 차이는 통계적으로 유의미하지 않았습니다.

또한 AI 는 항생제 치료 계획이나 종말 과정 (end-of-life processes) 을 계획하는 것과 같은 장기 치료 계획을 제공하는 것을 요구할 때 더 큰 규모의 인간 의사를 능가했습니다. AI 와 46 명의 의사는 5 개의 임상 사례를 검토하도록 요청받았으며, 컴퓨터는 전통적인 자원 (예: 검색 엔진) 을 사용하여 인간이 점수한 34% 에 비해 89% 로 훨씬 더 나은 계획을 세웠습니다.

그러나 연구자들은 응급실 의사를 위한 것은 아직 막을 내리지 않았다고 말했습니다. 이 연구는 텍스트로 전달할 수 있는 환자 데이터를 보고하는 AI 와 인간을 비교했습니다. AI 의 신호 (환자의 불쾌감 수준 및 시각적 외관) 를 읽는 능력은 테스트되지 않았습니다. 즉, AI 는 서류를 기반으로 제 2 의견을 생성하는 임상 전문가와 더 유사하게 수행되었습니다.

'저의 연구 결과는 AI 가 의사를 대체한다는 것을 의미하지 않는다고 생각합니다', 하버드 의학 학교 AI 랩을 지휘하는 주요 저자 중 한 명인 아르주안 마나이가 말했습니다. '저는 우리가 기술에 대한 정말 깊은 변화를 목격하고 있으며, 이는 의학을 재구성할 것이라고 생각합니다'.

Dr Adam Rodman 은 또 다른 주요 저자로, 연구가 진행된 보스톤의 Beth Israel Deaconess 의료 센터 의사이며 AI LLM 이 '수십 년간 가장 영향력 있는 기술 중 하나'라고 말했습니다. 그는 다음 10 년 동안 AI 가 의사를 대체할 것이 아니라 새로운 '삼각적 돌봄 모델 (triadic care model)' - '의사, 환자, 그리고 인공지능 시스템'에 합류할 것이라고 말했습니다.

하버드 연구의 한 사례에서 환자는 폐 혈전증과 악화된 증상을 보였습니다. 인간 의사들은 항응고제가 실패했다고 생각했지만 AI 는 인간이 발견하지 못한 것을 발견했습니다: 환자의 루푸스 (Lupus) 병력이 폐 염증의 원인이 될 수 있다는 것입니다. AI 는 정답을 증명했습니다.

최근 연구에 따르면 미국 의사의 1/5 은 이미 진단을 보조하기 위해 AI 를 사용하고 있습니다. 영국에서는 16% 의 의사가 매일, 추가 15% 가 주일마다 이 기술을 사용하며, 최근 왕립 의학회 (Royal College of Physicians) 조사에 따르면 '임상 의사결정'이 가장 일반적인 용도 중 하나입니다.

영국 의사의 가장 큰 우려는 AI 오류와 책임 위험입니다. AI 의료 기업에는 수십억 달러가 투자되었지만, AI 오류의 결과에 대한 질문은 여전히 남아 있습니다.

'현재 공식적인 책임 프레임워크는 없습니다', Rodman 이 말했습니다. 그는 또한 환자가 궁극적으로 '인간을 안내하고 싶어한다'고 강조했습니다.