RAG 챗봇이 백엔드를 노출할 때: 환자 접목 의료 AI 의 프라이버시 및 보안 위험에 대한 익명화된 사례 연구

Background:
환자 접목 (patient-facing) 의료 챗봇은 검색 증강 생성 (Retrieval-Augmented Generation, RAG) 기반이므로 접근 가능한 근거 기반 건강 정보를 제공하는 데 점점 더 많이 홍보되고 있습니다. AI 를 활용한 개발은 이를 구축하는 장벽을 낮추지만, 여전히 엄격한 보안, 프라이버시 및 거버넌스 제어를 요구합니다.

Objective:
공개적으로 접근 가능한 환자 접목 의료 RAG 챗봇의 비파괴적 보안 평가를 보고하고, 건강 분야에 생성형 AI 를 안전하게 배포하기 위한 거버넌스 교훈을 식별하는 것입니다.

Methods:
우리는 2 단계 전략을 사용했습니다. 첫째, Claude Opus 4.6 을 사용하여 탐험적 프롬프트 기반 테스트와 구조화된 취약점 가설을 수행했습니다. 둘째, Chrome Developer Tools 를 사용하여 브라우저에서 보이는 네트워크 트래픽, 페이로드 (payloads), API 스키마, 구성 객체 및 저장된 상호작용 데이터를 검사하여 후보 결과를 수동으로 확인했습니다.

Results:
LLM 기반 단계는 심각한 취약점을 식별했습니다: 민감한 시스템 및 RAG 구성은 서버 측에서 제한되지 않고 클라이언트-서버 통신을 통해 노출되었습니다. 수동 확인은 일반 브라우저 검사를 통해 시스템 프롬프트, 모델 및 임베딩 구성, 검색 파라미터, 백엔드 엔드포인트, API 스키마, 문서 및 청크 메타데이터, 지식 베이스 내용, 그리고 1,000 회 가장 최근 환자-챗봇 대화 기록을 수집할 수 있음을 확인했습니다. 배포는 프라이버시 보증과 모순되었습니다: 인증 없이도 전체 대화 기록 (건강 관련 쿼리 포함) 을 검색할 수 있었습니다.

Conclusions:
환자 접목 RAG 챗봇의 심각한 프라이버시 및 보안 실패는 전문 기술이나 인증 없이 표준 브라우저 도구로 식별할 수 있습니다. 배포 전 독립적 검토가 필수적입니다. 상업용 LLM 은 이 평가를 가속화했습니다, 심지어 가짜 개발자 페르소나 하에서도; 감사자에게 제공되는 지원은 적대者也에게도 동일하게 제공됩니다.