Salesforce: 의료 AI 에이전트에 대한 환자의 신뢰에 관한 새로운 연구

발생한 사건

Salesforce의 새로운 연구에 따르면, 환자들은 대중에게 공개된 AI 모델보다 의료 제공자가 배치한 AI 에이전트를 신뢰할 가능성이 3배 더 높은 것으로 나타났습니다. 이 연구는 의료 AI가 진료에 관여될 때 환자의 90%가 명시적으로 인간의 감독 (human oversight)을 요구한다는 점을 강조합니다. 환자들은 현재 의료 제공자들이 책임감 있는 AI 구현을 통해 이 신뢰를 효과적으로 관리하고 얻을 수 있는지 여부를 모니터링하고 있습니다.

에이전시(Agencies)에 중요한 이유

의료 또는 웰니스 분야를 지원하는 에이전시들에게 이러한 정서적 변화는 매우 중요합니다. 이제 신뢰는 정량화할 수 있는 자산입니다. 이 산업군의 클라이언트들은 더 이상 AI를 "블랙박스 (black box)" 솔루션으로 취급할 수 없으며, 투명성과 인간 참여형 (human-in-the-loop) 워크플로우를 우선시해야 합니다.

만약 귀하의 에이전시가 의료 클라이언트를 위한 콘텐츠 전략이나 자동화된 커뮤니케이션을 담당하고 있다면, 일반적이고 자율적인 AI 메시징에서 벗어나 피벗(pivot)해야 합니다. 대신, AI가 데이터 합성이나 일정 예약을 처리하되 인간 임상의가 최종 검증을 제공하는 "AI 보조 (AI-assisted)" 프레임워크를 구축하는 데 집중하십시오. 이는 단순한 컴플라이언스 (compliance) 문제가 아니라 브랜드 차별화 전략입니다. 자동 예약 알림이나 환자 포털을 통해서든, 클라이언트의 AI 기반 고객 여정에 인간의 감독을 어떻게 통합하는지 입증할 수 있는 에이전시가 높은 이해관계가 걸린 의료 계정들을 유지하는 데 더 유리한 위치를 점할 것입니다. 이를 위해서는 모든 AI 생성 출력이 환자에게 도달하기 전에 세밀한 인간 감사 (human auditing)를 허용하는 도구로의 이동이 필요합니다.

대응 방안

첫째, 의료 고객사의 현재 AI 접점(touchpoints)을 감사하십시오. 만약 자율형 챗봇(autonomous chatbots)이나 자동화된 콘텐츠 생성(automated content generation)을 사용하고 있다면, 즉시 중단하고 "인간 참여형 (Human-in-the-Loop, HITL)" 검토 프로세스를 구현하십시오. 둘째, 대행사의 가치 제안(value proposition)을 "AI 자동화 (AI-automated)" 서비스가 아닌 "AI 보조 및 인간 검증 (AI-assisted, human-verified)" 워크플로우로 강조하도록 업데이트하십시오. 새로운 의료 관련 업무를 제안할 때는 정확성과 감독을 어떻게 보장하는지에 대한 거버넌스 프레임워크(governance framework)를 우선적으로 제시하십시오. 마지막으로, 현재의 기술 스택(tech stack)이 용이한 인간의 개입(human intervention)을 허용하는지 확인하십시오. 만약 특정 도구가 수동 감독(manual oversight)을 지원하지 않는다면, 이는 의료 고객에게 리스크(liability)가 됩니다.

주의 깊게 살펴볼 점

의료 제공자들이 공개적인 메시지에서 "인간의 감독 (human oversight)"을 어떻게 정의하는지 모니터링하십시오. 규제가 진화함에 따라, AI 투명성(AI transparency)에 관한 구체적인 산업 표준을 주시하십시오. 만약 의료 제공자들이 대행사에 AI 생성 콘텐츠에 관한 책임 합의서(liability agreements) 서명을 요구하기 시작한다면, 귀사의 보험 및 운영 프로토콜이 의료 커뮤니케이션과 관련된 증가된 리스크를 처리할 준비가 되어 있는지 확인하십시오.

출처: Patients Trust Their Doctor’s AI Agents 3x More Than Public AI

원문 게시지: https://ai.nidal.cloud