AI 챗봇이 사용자의 개인정보 공유를 유도한다

AI 에이전트가 상점의 고객과 상호작용할 때, 개인정보 관리(Personal data management)는 비즈니스적 측면과 법적 측면 모두에서 필수적인 과제가 됩니다. # AI 챗봇은 사용자가 12배 더 많은 개인정보를 공유하도록 유도한다

두 건의 국제 연구가 경고를 울렸습니다. AI 기반 챗봇(Chatbots)과 브라우징 어시스턴트(Browsing assistants)가 인터넷 사용자들로 하여금 전례 없는 수준으로 민감한 정보를 공개하도록 압박하고 있다는 것입니다.

조작적인 챗봇: 12.5배 더 많은 데이터 노출

King’s College London의 연구팀은 일부 AI 챗봇이 대화 상대를 미묘하게 조작하도록 설계되었을 때, 일반적인 상호작용보다 최대 12.5배 더 많은 개인정보를 공유하도록 사용자를 유도할 수 있음을 입증했습니다.

이번 주 USENIX Security Symposium에서 발표된 이 연구는 Mistral 및 Llama와 같이 공개적으로 접근 가능한 언어 모델(Language models)로 구축된 세 가지 유형의 조작적 시스템을 통해 502명의 참가자를 대상으로 테스트를 진행했습니다.

가장 효과적인 조작 전략

가장 효과적인 전략은 이른바 “호혜적(Reciprocal)” 기술에 의존했습니다. 챗봇은 공감을 가장하고, 정서적 지원을 제공하며, 개인적인 일화를 공유하는 동시에 사용자에게 비밀 유지를 약속하며 안심시켰습니다. 그 결과: 참가자들은 자신감을 느꼈고, 정보 공개와 관련된 위험을 최소화하여 생각했습니다.

King’s College의 박사후 연구원인 Dr. Xiao Zhan은 “사용자들은 이러한 상호작용 중에 개인정보 보호(Privacy) 위험에 대해 거의 인지하지 못했다”라고 설명합니다.

브라우저 어시스턴트: 민감한 데이터에 대한 전례 없는 접근

이와 병행하여, UCL, University of California Davis, 그리고 University of Reggio Calabria에서 수행된 두 번째 연구에 따르면, 10명 중 9명의 AI 브라우저 어시스턴트가 민감한 데이터를 수집하고 전송하는 것으로 나타났습니다.

인기 확장 프로그램에 대한 우려스러운 발견

연구진은 ChatGPT for Google, Microsoft Copilot, Merlin 등 여러 인기 확장 프로그램 (extensions)을 테스트했으며, 우려스러운 사례들을 발견했습니다. Merlin은 대학 보건 포털을 통해 제출된 의료 양식 (medical forms)을 가로챘고, 다른 어시스턴트들은 사용자 식별자 (user identifiers)를 Google Analytics와 공유하여 교차 사이트 추적 (cross-site tracking)을 용이하게 했으며, 오직 Perplexity만이 프로파일링 (profiling)의 모든 증거로부터 벗어났습니다.

본 연구의 주저자인 Dr. Anna Maria Mandalari (UCL)에 따르면:

“이러한 도구들은 디지털 삶에서 프라이버시가 유지되어야 하는 영역에서 사용자의 온라인 행동에 대해 전례 없는 수준의 접근 권한을 가지고 작동합니다.”

디지털 프라이버시 위기를 향하여?

두 연구 모두 HIPAA (보건) 또는 FERPA (교육)와 같은 규정의 잠재적 위반 가능성을 지적합니다. 또한 악의적인 행위자들이 이러한 시스템을 악용하여 개인 정보를 은밀하게 수집할 수 있는 용이성도 강조합니다.

King’s College의 사이버 보안 강사인 Dr. William Seymour는 다음과 같이 경고합니다:

“이러한 AI 챗봇들은 아직 상대적으로 신기술이기 때문에, 사람들이 상호작용 속에 숨겨진 의도가 있을 수 있다는 점을 덜 인식할 수 있습니다.”

연구진의 권고 사항

연구진은 이러한 도구들이 일상적인 디지털 생활에 점점 더 통합됨에 따라, 수집 관행에 대한 투명성 강화 (increased transparency), 사용자 제어권 향상 (enhanced user control), 그리고 **더 엄격한 규제 감독 (stricter regulatory oversight)**을 촉구하고 있습니다.

글로벌 AI 거버넌스 이슈

유럽이 AI Act를 통해 보호 조치를 부과하려 노력하고 있는 시점에, 이러한 폭로는 급격히 확장되는 분야를 규제하는 입법자들의 능력에 대한 논쟁을 재점화합니다. 신뢰, 혁신, 그리고 감시 사이에서 개인 데이터 보호를 위한 싸움은 결정적인 국면을 맞이할 것으로 보입니다.

결론

결론

이러한 연구들은 우려스러운 현실을 드러냅니다. AI 챗봇은 민감한 개인 데이터 (personal data)를 추출하기 위해 신뢰하려는 우리의 자연스러운 성향을 이용합니다. 15년 이상의 경력을 가진 보안 전문가인 Nicolas Dabène의 경험이 강조하듯, 이 상황은 왜 AI 시스템의 설계 단계부터 데이터 보호 (data protection)가 통합되어야 하는지를 완벽하게 보여줍니다.

이러한 폭로에 직면하여, 인공지능 (AI) 시대에 우리의 디지털 프라이버시 (digital privacy)를 보존하기 위해서는 사용자의 경계심과 더욱 엄격한 규제가 시급합니다.

2025년 9월 4일 Nicolas Dabène 작성 - 컴퓨터 보안 분야 15년 이상의 경력을 가진 PHP & PrestaShop 전문가