Microsoft AI가 AI 진단 시스템 MAI-DxO 연구를 학술지 Science에 발표했다. 뉴잉글랜드 의학저널(NEJM)의 어려운 사례에서 진단 정확도 83%를 기록했다고 밝혔다.
배경은 이렇다. 의료 AI는 주로 미국 의사 면허 시험(USMLE) 같은 문제로 평가해 왔다. 이런 시험은 정보를 처음부터 다 주고 답 하나를 고르게 한다.
실제 진료는 다르다. 의사는 무엇을 물어볼지, 어떤 검사를 할지 하나씩 정하고, 새 결과가 나올 때마다 판단을 고친다. Microsoft AI는 이런 시험이 의사의 지식을 평가할 뿐, 실제 진단 과정을 평가하지는 않는다고 설명했다.
Microsoft AI가 내놓은 해법은 두 가지다.
-
SDBench: 단계별 진단을 평가하는 벤치마크다. NEJM의 복잡한 사례 304건과 미국 응급실 데이터(MIMIC-IV-ED)의 일반적인 사례를 쓴다. AI나 의사는 적은 정보로 시작해 다음에 무엇을 요청할지 고른다. 정답뿐 아니라 요청한 정보와 예상 검사 비용까지 잰다.
-
MAI-DxO: 모델 하나가 바로 답하는 대신, 가상 의사 여러 명이 모인 패널처럼 움직인다. 각자 진단을 내놓고, 필요한 질문과 검사를 고르고, 서로의 판단에 반론을 제기한다. 여러 차례 토론을 거치며, 검사의 가치를 비용과 저울질한다.
Microsoft AI가 밝힌 결과는 이렇다.
• NEJM 사례: MAI-DxO 83%, 참고 자료 없이 진단한 의사 22%, 참고 자료를 쓴 의사 36%
• 응급실 사례: MAI-DxO 80%, 의사 47%
• 비용을 더 아끼도록 설정한 한 버전은 NEJM 사례에서 81% 정확도를 냈고, 비용은 비교 대상 시스템의 절반이 안 됐다
GPT-5.5 등 새 모델로 다시 평가했을 때, 조율 방식을 바꾸지 않았는데도 성과가 유지됐고 오히려 좋아졌다고 밝혔다. 이 방식이 특정 세대 모델에 묶이지 않는다는 뜻이라고 설명했다.
Microsoft AI는 일부 NEJM 사례에 대한 SDBench를 벤치마크, Gatekeeper, Judge, 비용 추정 코드까지 포함해 오픈소스로 공개한다. 앞으로 보스턴의 베스 이스라엘 디코니스 메디컬 센터와 함께, 환자가 시스템과 직접 상호작용하는 전향적 연구도 진행할 계획이다. 성능은 의사의 독립적인 판단과 비교한다.
#MicrosoftAI #MAIDxO #의료AI
https://t.co/6iVilyVktU
