핵심 요약: 암 환자의 증상 모니터링을 위한 AI 기반 챗봇에 관한 미국의 연구 결과, 초기에는 유망한 가능성을 보였으나 사용성 문제로 인해 상당한 환자 이탈률이 나타났습니다. AI 챗봇은 온디맨드 (on-demand) 정보와 지원을 제공함으로써 급성 치료 (acute care) 수요를 줄일 수 있지만, 열악한 사용자 경험 (user experience)과 중단된 임상 워크플로 (clinical workflows)는 이러한 이점을 상쇄할 수 있습니다. 차세대 도구들은 암 치료를 의미 있게 개선하기 위해 단순한 정보 전달을 넘어 직관적인 디자인과 진정한 정서적 지원을 우선시해야 합니다. 진료 방문 사이의 암 환자 증상 관리를 돕기 위해 설계된 AI 챗봇이 결과적으로 임상 인력에게 계획되지 않은 추가 업무를 발생시켰는데, 이는 원래 의도와 정반대되는 결과였습니다. CAM 2.0 연구는 높은 이해관계가 걸려 있고 정서적으로 복잡한 환경에서 AI 도구를 구축하는 모든 이들에게 냉혹한 현실을 일깨워 줍니다. 디자인이 잘못되면 선한 의도와 작동하는 기술만으로는 충분하지 않습니다.

AI 기반 환자 지원의 효과 평가
CAM 2.0 연구는 화학방사선요법 (chemoradiotherapy)을 받는 위장관암, 폐암 또는 두경부암 환자 73명을 대상으로 상용 활동 추적기(activity tracker)만 사용하거나, 동일한 추적기에 문자 메시지를 통해 지원을 제공하는 AI 챗봇인 Penny를 결합하여 배정했습니다. 목표는 간단했습니다. AI 보조 증상 모니터링이 급성 치료 방문의 필요성을 줄일 수 있는가 하는 점이었습니다. 초기 결과는 엇갈렸으며 시사하는 바가 컸습니다. AI 그룹의 환자들은 도구 사용에 어려움을 겪었으며, 상당수가 완전히 중도 탈락했습니다. 일부는 챗봇이 이미 그들의 우려 사항을 해결했음에도 불구하고 디지털 트리아지 (digital triage) 시스템을 우회하여 의료진에게 직접 연락했습니다. 이는 시사하는 바가 큰 신호입니다. AI는 질의를 정확하게 처리할 수 있지만, 질문하는 사람을 만족시키는 데는 실패할 수 있습니다. 암 치료 과정에서 안심하고자 하는 인간의 욕구는 항상 정답에 의해 충족되는 것은 아닙니다. 한편, 이러한 챗봇 상호작용은 임상 인력에게 시스템이 방지하도록 설계되었던 바로 그 결과인, 계획되지 않은 추가 업무를 만들어냈습니다.

다른 연구들은 좀 더 고무적인 방향을 가리키고 있습니다. 환자들은 진료 전 복잡한 병리 보고서 (pathology reports)를 해독하기 위해 ChatGPT와 같은 도구를 사용해 왔으며, 결과에 대한 이해도가 높아지고 의사와의 대화에서 더 자신감을 얻었다고 보고했습니다. 환자들이 진료 예약 시 더 잘 준비된 상태로 올 수 있도록 돕는 이러한 "연구 보조원 (research assistant)"로서의 활용 사례는 현재 AI 챗봇이 제 역할을 다하고 있는 부분입니다.

접근성(Accessibility)과 정확성(Accuracy)의 양날의 검

종양학 (oncology) 분야에서 AI 챗봇을 지지하는 가장 강력한 논거는 가용성 (availability)입니다. 챗봇은 불안감이 치솟고 병원이 문을 닫은 새벽 2시에도 그 자리에 있습니다. 소아 및 청년 암 환자를 대상으로 한 파일럿 연구 (pilot study)에 따르면, 일부 환자들은 의료진에게는 제기하지 않았던 우려 사항을 챗봇에게는 털어놓기도 했습니다. 이는 챗봇이라는 형식이 임상 환경에서는 때때로 불가능한 방식으로 민감한 정보 공개에 대한 장벽을 낮춰준다는 점을 시사합니다.

하지만 정확성이 결여된 가용성은 위험 요소가 됩니다. 임상의들은 AI의 응답에 오류, 누락, 그리고 때로는 허위 인용 (fabricated citations)이 포함될 수 있다고 지적해 왔습니다. JAMA Oncology에 발표된 한 연구에 따르면, 암 치료 질문에 대한 ChatGPT 답변 중 상당 부분이 임상 가이드라인 (clinical guidelines)과 일치하지 않는 것으로 나타났습니다. 오해의 소지가 있는 정보는 환자가 이미 믿고 있는 내용을 확인해 줄 때 특히 위험합니다. 환자가 그 정보에 의문을 제기할 가능성이 훨씬 낮아지기 때문입니다. 종양학 전문의들이 일관되게 전하는 메시지는 다음과 같습니다: 챗봇을 최종 답변이 아닌 시작점으로 사용하고, 모든 내용을 의료진을 통해 확인하십시오.

가독성 (readability) 또한 실제적인 문제입니다. 일반적인 암 관련 질문에 대한 AI의 응답을 평가한 연구에 따르면, 해당 콘텐츠를 이해하기 위해서는 대학 수준의 문해력이 빈번하게 요구되었습니다. 이는 NIH (미국 국립보건원)가 환자용 건강 자료에 권장하는 초등학교 6학년 수준의 읽기 능력보다 훨씬 높은 수준입니다. 이러한 격차는 지원이 가장 절실한 환자들에게 가장 큰 문제가 됩니다.

종양학 분야에서 환자 중심 AI (Patient-Centric AI) 설계하기

전이성 유방암 환자를 위해 구축된 UHN 연구팀의 인공지능 환자 사서 (Artificial Intelligence Patient Librarian, AIPL)는 설계 과정을 올바르게 진행하는 방법에 대한 유용한 사례 연구를 제공합니다.

환자들과의 협업을 통해 개발된 이 시스템은 빠른 답변을 제공하는 데 있어 우수한 성능을 보였으며, 특히 새로 진단받은 사용자들에게 효과적이었습니다. 하지만 경험이 더 많은 환자들은 더 깊이 있는 것, 즉 의학적 뉘앙스(medical nuance), 정서적 지원, 그리고 진정으로 이해받고 있다는 느낌을 원했습니다. 정보 전달과 진정한 동반자 관계 사이의 이러한 간극이 현재 대부분의 도구들이 부족한 지점입니다. 이 간극을 메우기 위해서는 개발자들이 지속적으로 우선순위에서 뒤로 미루는 두 가지 요소가 필요합니다. 첫째, 자연어 품질(natural language quality)이 매우 중요합니다. 응답은 정확하고 완전해야 하며, 이를 받는 사람이 실제로 읽기 쉬워야 합니다. 둘째, 출처의 투명성(source transparency)이 신뢰를 구축합니다. 챗봇이 답변의 출처를 보여줄 수 있다면, 환자들은 답변을 단순히 수용하는 대신 직접 검증할 수 있습니다. AI 챗봇이 암 환자를 위한 정신 건강 지원을 확대하여, 진료 시간 외에도 대처 도구, 정서적 체크인, 지속적인 심리 모니터링을 제공할 수 있다는 설득력 있는 근거가 존재합니다. 하지만 이는 높은 기준을 요구합니다. 증상 문의를 처리할 수 있는 도구가 슬픔이나 공포를 다룰 수 있는 역량을 자동으로 갖추는 것은 아닙니다. 이들은 서로 다른 설계를 요구하는 별개의 문제입니다. 케어 연속체(Care Continuum)로의 AI 통합: 종양학 분야에서 AI 챗봇이 제대로 작동하려면, 의료 워크플로우(care workflows)를 방해하는 것이 아니라 그 안에 녹아들어야 합니다. 종양 전문의에게 임상 가이드라인에 대한 신속한 접근을 제공하는 ASCO의 'Guidelines Assistant'와 같은 도구는 하나의 모델을 제시합니다. 즉, 환자와 의료진 간의 관계를 대체하려 하기보다 임상 의사결정(clinical decision-making)을 보조하는 AI의 모습입니다. 이는 적어도 현재로서는 더 방어 가능한 통합 지점입니다. CAM 2.0의 연구 결과는 배포 맥락(deployment context)이 기반 기술만큼이나 결과에 큰 영향을 미친다는 점을 상기시켜 주는 유용한 사례입니다. 의료진의 업무 부하를 가중시키는 AI 에이전트는 지원 도구가 아니라 새로운 문제입니다. 이를 잘 수행하고 있는 개발자들은 실제 워크플로우에 영향을 미칠 수 있도록 시스템을 계측하고, 환자와 의료진으로부터 지속적인 피드백을 수집하며, 규모를 확장하기 전에 반복적인 개선(iterating) 과정을 거칩니다.

만약 여러분이 이와 같이 복잡하고 감정적 부담이 큰 영역에서 에이전트 도구(agentic tools)가 어디에 위치해야 하는지 고민하고 있다면, 선제적 AI 에이전트(proactive AI agents)를 평가하기 위한 PARE 프레임워크를 살펴보는 것이 가치가 있습니다. 이는 에이전트가 실제로 도움이 되고 있는지를 평가하는 가장 현실적인 접근 방식 중 하나입니다. AI 에이전트 및 자동화 도구에 대한 더 자세한 내용은 당사의 AI Agents 섹션을 방문해 주세요. 원문은 https://autonainews.com/u-s-study-reveals-ai-chatbots-dual-role-in-cancer-patient-support/ 에서 처음 게시되었습니다.