의료 분야의 AI: 실제로 작동하는 곳과 그렇지 않은 곳에 대한 실질적인 가이드

요약

의료 분야에서 AI는 임상의와 직원을 대체하는 것이 아니라 보조 도구로서 가장 잘 작동합니다. 즉, AI가 초안을 작성하고, 플래그를 표시하며, 예측을 수행하면 최종 결정은 인간이 내립니다.

가장 강력한 초기 성과는 행정 분야에서 나타납니다: 문서화, 코딩, 사전 승인(prior authorisation) 등 오류를 복구할 수 있고 워크플로우(workflow)가 잘 이해되어 있는 분야입니다.

어려운 부분은 모델이 아닙니다. HIPAA 및 데이터 거버넌스(data governance), 임상적 검증(clinical validation), 편향(bias), 그리고 귀하의 EHR과의 정직한 통합입니다.

올해 거의 모든 의료 제공자와 헬스 테크(health-tech) 기업들은 동일한 질문을 받고 있습니다: 우리는 실제로 어디에 AI를 사용해야 하는가? 정직한 답변은 AI가 이미 임상 조직 전반에 걸쳐 유용하지만, 마케팅에서 제안하는 방식으로는 드물게 작동한다는 것입니다.

이 글은 규제된 임상 환경에서 AI가 제 역할을 하는 곳, 그리고 똑같이 중요한 점으로서 AI가 제 역할을 하지 못하는 곳에 대한 실질적인 가이드입니다. 우리는 의료 제공자들이 매일 운영하는 워크플로우(workflow)에 기반하여 논의를 진행할 것입니다.

의료 분야에서 AI를 안전하게 유지하는 단 하나의 규칙

어떤 유스케이스(use case)를 도입하기 전에, 단 하나의 원칙을 고수하십시오: 임상 환경에서 AI는 보조하며, 결정은 인간이 내립니다. 모델은 노트를 초안 작성하거나, 스캔 이미지에서 의심스러운 영역을 표시하거나, 상태가 악화될 수 있는 환자를 예측합니다. 자격을 갖춘 사람이 이를 검토, 수정 및 승인합니다.

이것은 단순히 윤리적인 문제만이 아닙니다. 이는 귀하를 규제 및 책임 범위 내에 머물게 하며, 출력을 어떻게 보여줄지, 인간의 검토를 어떻게 캡처할지, 무엇을 로그(log)로 남길지 등 이후의 모든 설계 결정에 영향을 미칩니다.

핵심 요점: 만약 어떤 유스케이스가 AI가 환자에게 자율적으로 행동할 때만 작동한다면, 그것을 이정표가 아닌 위험 신호(red flag)로 간주하십시오.

오늘날 AI가 진정으로 도움이 되는 곳

실수가 얼마나 복구 가능한지에 따라 유스케이스를 분류하면 도움이 됩니다. 행정적 오류는 발견하고 수정할 수 있지만, 잘못된 임상적 결정은 그렇지 않을 수 있습니다. 영향 범위(blast radius)가 가장 작은 곳부터 시작하십시오.

행정 자동화 (Administrative automation) - 진료 기록 초안 작성, 청구 코드 (billing codes) 제안, 사전 승인 양식 (prior authorisation forms) 사전 작성. 이 영역에서의 오류는 환자에게 도달하기 전에 확인 및 수정이 가능합니다.
예측 분석 (Predictive analytics) - 재입원, 병원 내 상태 악화, 또는 예약 미이행 위험이 높은 환자를 식별하여 의료진이 더 조기에 대처할 수 있도록 합니다.
임상 의사 결정 지원 (Clinical decision support) - 진료 시점에 관련 가이드라인, 약물 상호작용 (drug interactions) 및 이전 검사 결과를 판결이 아닌 프롬프트 (prompt) 형태로 제시합니다.
의료 영상 보조 (Medical imaging assistance) - 영상의학과 전문의가 확인할 수 있도록 스캔 결과에서 후보 소견을 강조하여 표시하며, 결코 전문의의 판독을 대체하지 않습니다.
환자 대응 챗봇 및 트리아지 (Patient-facing chatbots and triage) - 일반적인 질문에 답변하고, 자가 예약 (self-scheduling)을 안내하며, 증상에 따라 적절한 수준의 의료 서비스로 연결합니다.

AI 유스케이스 (Use cases)의 현실적인 지도

유스케이스 (Use case)	AI가 수행하는 역할	통제권을 갖는 주체	오류 발생 시 리스크
임상 문서화 (Clinical documentation)	진료 내용을 바탕으로 기록 초안 작성	임상의가 편집 및 서명	낮음 - 서명 전 발견 가능
...

슬라이드에는 아무도 넣지 않는 어려운 부분들

모델 자체가 어려운 부분인 경우는 드뭅니다. 진짜 어려운 부분은 다음과 같습니다:

HIPAA 및 데이터 거버넌스 (Data Governance) - 보호 대상 건강 정보 (PHI)는 가볍게 다뤄질 수 없습니다. 데이터가 어디에 저장되는지, 누가 볼 수 있는지, 어떻게 비식별화 (De-identification) 되는지, 그리고 비즈니스 협력 계약 (Business Associate Agreement) 하에 어떤 벤더를 신뢰할 수 있는지에 대한 명확한 규칙이 필요합니다.
임상 검증 (Clinical Validation) - 연구용 데이터셋에서는 정확해 보이는 모델이 실제 환자군에서는 조용히 실패할 수 있습니다. 자체 데이터로 검증하고, 사전에 허용 가능한 성능을 정의하며, 서비스 출시 (Go-live) 후에는 드리프트 (Drift)를 모니터링해야 합니다.
편향성 (Bias) 및 형평성 (Equity) - 대표성이 없는 데이터로 학습된 모델은 특정 집단에 대해 성능이 저하될 수 있습니다. 이는 당연히 해결될 것이라고 가정해서는 안 되며, 반드시 테스트해야 합니다.
EHR 및 EMR 통합 (Integration) - AI가 임상의의 기존 워크플로 (Workflow) 내에 존재할 때만 가치가 나타납니다. 별도의 화면을 요구하는 추가형 (Bolt-on) 도구들은 결국 방치됩니다.
감사 가능성 (Auditability) - 모델이 무엇을 권고했는지, 사람이 무엇을 했는지, 그리고 그 이유가 무엇인지를 보여줄 수 있어야 합니다. 의사결정 과정을 재구성할 수 없다면, 그 결정을 방어할 수 없습니다.

핵심 요약 (Key takeaway): 유용한 테스트 방법: 만약 특정 유스케이스 (Use case)를 어떻게 검증하고, 보안을 유지하며, 감사할 것인지 설명할 수 없다면, 아직 그것을 구축할 준비가 되지 않은 것입니다.

과도한 약속 없이 시작하는 방법

오류를 복구할 수 있는 하나의 워크플로를 선택하세요 - 임상 문서화 (Clinical documentation) 또는 코딩 (Coding)이 흔한 첫 단계입니다.
필요한 데이터가 존재하는지, 접근 가능한지, 그리고 규정을 준수하며 처리될 수 있는지 확인하세요.
'좋은 상태'가 무엇인지 정의하세요: 임상 이해관계자들과 합의된 측정 가능한 품질, 안전성 및 시간 절약 목표를 설정해야 합니다.
인간이 명확하게 루프 안에 포함된 (Human-in-the-loop) 상태로, 기존 워크플로 내에서 좁은 범위의 파일럿 (Pilot)을 구축하세요.
자체 데이터로 검증하고 목표치에 따라 측정하며, 그 후에 범위를 확장할지 결정하세요.

핵심 요약 (Key takeaway): 작고, 지루하며, 거버넌스가 잘 갖춰진 승리들이 복리로 쌓입니다. 야심 찬 자율형 (Autonomous) 프로젝트들은 검토 과정에서 중단되는 경향이 있습니다.

이 분야에서 AI가 여전히 할 수 없는 것들

AI는 임상적 책임 (Clinical responsibility)을 질 수 없습니다. 환자를 대상으로 감독 없이 행동하도록 신뢰할 수도 없습니다. AI는 지저분하거나 편향된 기초 데이터 (Underlying data)를 수정할 수 없으며, 방치할 경우 확신에 찬 태도로 틀린 답을 내놓을 것입니다. 모든 결정에 대해 인간이 책임을 지는 보조자 (Assistant)로 다뤄질 때 AI는 진정으로 유용합니다. 하지만 자율적인 임상의 (Autonomous clinician)로 다뤄진다면, 그것은 부채 (Liability)가 됩니다.

임상 또는 헬스 테크 (Health-tech) 워크플로우에 AI 도입을 고민 중이신가요?

저희는 처음부터 검증과 인간의 감독 (Human oversight)이 설계된, 실제 임상 워크플로우에 적합한 HIPAA 준수 AI 및 챗봇 (Chatbot) 도구를 구축합니다. 개선하고 싶은 워크플로우를 저희에게 알려주세요.

저희 팀과 상담하기

이 기사는 원래 Acqurio Tech에 게시되었습니다.

Insights