대부분의 직업에서 AI가 틀릴 경우, 초안을 수정할 수 있습니다. 하지만 건강 분야에서는 그 기회조차 얻지 못할 수도 있습니다.
저는 시니어 AI 및 풀스택 엔지니어인 John입니다. 지난 1년간 건강 정보 어시스턴트 Tabibu를 구축하는 데 시간을 보냈고, 제가 가장 많이 받는 질문으로 이 시리즈를 시작하려 합니다. 바로 '왜 건강 분야가 제가 AI를 출시했던 다른 곳들보다 훨씬 어려운가?'라는 질문입니다.
1. 실수가 더 큰 비용을 초래한다
잘못된 용량은 단순한 오타가 아닙니다. 일반적인 제품에서 잘못된 답변은 재시도할 수 있는 비용일 뿐입니다. 하지만 건강 분야에서는 누군가가 그 답변에 따라 행동할 수 있습니다. 그래서 저는 '답변이 좋은가?'라고 묻는 것을 멈추고, '여기서 가장 믿을 만한 최악의 오답은 무엇인가?'를 묻기 시작했습니다. Tabibu의 경우 답변이 용량이었기 때문에, 시스템은 누구에게도 약을 복용하거나 중단하거나 변경하라는 지시를 내리지 않습니다.
2. AI는 맞는지 틀리는지 구별할 수 없을 만큼 확신하는 것처럼 들린다
이것은 엔지니어로서 저를 놀라게 한 부분입니다. 모델은 자신이 알 때나 추측하고 있을 때 모두 차분하고 유창한 답변을 제공합니다. 환자는 보통 그 차이를 구분하기 어려운데, 이 구분을 하는 것이 전문가의 역할이기 때문입니다.
그래서 저는 어조(tone)를 신호로 믿는 것을 멈췄습니다. Tabibu의 답변은 출처를 보여주며, 가이드라인이 질문을 다루지 못할 경우 그렇게 명시하고 해당 답변을 일반 정보로 분류합니다. 자신감 있는 목소리가 무언가를 믿어야 할 이유는 되지 않습니다.
3. 규칙들은 좋은 이유가 있다
소프트웨어가 의학적 결정에 영향을 미치는 곳에서는, 여러 지역의 규제 기관들이 이를 의료 기기(medical device)로 취급하며, 이는 증거를 요구합니다. 저는 Tabibu에 대해 그런 주장을 하지 않습니다. 이것은 정보 도구이며, 아직 임상의 검토가 없으며, 한계는 tabibu.health/trust에 명시되어 있습니다.
개발자로서 얻은 교훈은 제품의 경계를 암묵적으로 두는 것이 아니라, 문서화하고 테스트 가능하도록 설계하는 것입니다.
절망적인가?
No. A 2026 Mount Sinai에서 Communications Medicine에 발표된 연구는 20개의 AI 모델을 1,000만 건 이상의 응답에 대해 테스트했습니다. 짧은 안전 알림(safety reminder)을 추가하는 것만으로 잠재적으로 해로운 임상적 선택의 비율을 16.6%에서 10.1%로 줄였으며, 이는 20개 모델 중 19개 모델에서 감소세를 보였습니다. 저는 논문 자체가 아니라 MedicalXpress에 실린 요약본을 읽었습니다. 이 연구를 주도한 연구원은 알림이 임상적 감독(clinical oversight)을 대체하는 것이 아니라 하나의 안전장치일 뿐이라고 말했습니다. 제가 신뢰하는 방향은 바로 이것입니다: 안전 작업은 도움이 되지만, 0%까지 도달하지는 않습니다.
ECRI의 2026년 환자 안전 보고서 역시 진단 치료 분야에서의 AI를 우려 사항으로 지적하고 있으며, 이는 제가 목격한 바와 일치합니다. 문제는 AI가 건강에 좋은지 나쁜지가 아니라, 어디까지 충분히 안전하며 누가 검토하느냐 하는 것입니다.
제가 여러분에게 묻고 싶은 것
AI에게 절대 맡기지 않을 건강 결정은 무엇인가요? 앞으로 몇 주 동안 저는 이러한 도구를 누가 만들고, 어떻게 돈을 벌며, 누가 규칙을 정하고, 어디에서 실패하는지를 다룰 예정입니다.
이 시리즈에 대한 짧은 영상은 LinkedIn와 TikTok에 게시할 예정이니, 들러 인사해주세요.
일반적인 정보이며, 의학적 조언이 아닙니다.