원문은 제 블로그에 게시되었습니다.

저는 SEED Inc.에서 AI 워크숍을 진행하고 있었습니다. 참석자 중 한 여성분이 ChatGPT가 가장 좋아하는 도구라고 말했습니다. 왜 그런지 물었을 때, 그녀는 이메일을 쓰거나 문서를 요약하는 것에 대해 말하지 않았습니다. 그녀는 ChatGPT가 자신을 이해한다고 말했습니다. 그녀는 그것으로부터 관계 조언을 받아오고 있었습니다.

그래서 저는 당연한 후속 질문을 던졌습니다. 만약 누군가 지금 당신의 계정을 열어본다면, 그들은 당신에 대한 모든 것을 알게 되지 않을까요?

그녀는 그렇다고 답했습니다. 잠시 침묵이 흘렀고, 대답은 어색하게 나왔으며, 실내 분위기는 조금 전보다 더 조용해졌습니다.

그녀가 한 행동 중 부주의한 것은 아무것도 없었습니다. 바로 그 점이 흥미로운 부분입니다. 그녀는 설계된 대로 정확하게 도구를 사용하고 있었고, 그 설계는 당신이 무엇을 걱정하는지, 당신의 삶에 누가 있는지, 그리고 아무도 당신을 편집하지 않을 때 당신이 어떻게 말하는지에 대한 검색 가능한 1인칭 기록을 만들어냅니다.

사회 공학 (Social engineering)은 언제나 대부분 숙제였습니다

이 공격의 예전 방식은 인내심을 요하는 것처럼 보였습니다. 누군가가 당신의 LinkedIn을 읽고, 당신의 매니저 이름을 알아내고, 당신의 회사가 '지출 시스템'이 아닌 'Concur'라고 부른다는 것을 배우고, 당신이 다음 주에 여행을 간다는 사실을 알아내는 식입니다. 그런 다음 그들은 동료에게 전화를 걸어 마치 그곳에 속한 사람처럼 들리게 합니다.

전화하는 것은 쉬운 부분입니다. 소속된 사람처럼 들리는 것이 비용이 많이 드는 부분이며, 예전에는 며칠 동안 정보를 수집(scraping)하고 추측해야 했습니다.

AI 계정은 이 모든 과정을 건너뜁니다. 그것은 파편들로 조립된 프로필이 아닙니다. 그것은 당신이 어디에도 공개하지 않을 내용까지 포함하여, 당신 자신의 어투로, 순서대로 직접 작성한 브리핑(briefing)입니다.

계정은 목표가 아닙니다. 계정은 이미 완료된 정찰 (reconnaissance)입니다.

이것은 이미 조용히 일어나고 있습니다

Group-IB는 2022년 6월부터 2023년 5월 사이에 다크 웹 마켓에서 인포스티리어(infostealer) 로그에 저장된 10만 개 이상의 ChatGPT 자격 증명을 발견했으며, 이 중 한 달에 26,802건으로 정점을 찍었습니다. 다음 해의 수치는 약 22만 5천 건의 로그 파일이었습니다. 이 중 거의 모두가 OpenAI에 침입해서 얻은 것이 아니었습니다. 평범한 노트북에서 일반 악성코드가 브라우저에 저장된 모든 것을 수집하면서 나온 것이었습니다.

공격자가 전혀 개입하지 않은 유출 사례 역시 교훈적입니다. 2025년 1월에는 DeepSeek 데이터베이스가 공개 인터넷에 노출되었고, 여기에는 백만 개 이상의 채팅 로그가 포함되어 있었습니다. 같은 해에는 Meta AI를 사용한 사람들이 '공유' 버튼을 누르면서 이것이 '저장'을 의미한다고 착각했고, 의료 질문, 양육권 분쟁 및 고백 내용을 본인 이름으로 공개 피드에 게시했습니다. OpenAI는 공유된 대화가 Google 검색 결과에 나타나기 시작하자 2025년 8월에 자체 발견 가능 링크(discoverable-link) 옵션을 철회했습니다.

2025년 11월 Mixpanel 사고가 OpenAI 사용자들에게 발생했을 때, 채팅 내용 자체가 유출된 것은 아니었습니다. 이름, 이메일, 대략적인 위치 정보만 노출되었습니다. 그럼에도 불구하고 OpenAI는 사람들에게 설득력 있는 피싱을 예상하라고 경고했습니다. 이것이 바로 얼마나 적은 정보로도 충분한지를 보여줍니다.

한편, 성능 측면도 저렴해졌습니다. FBI의 2025년 5월 권고에 따르면 공격자들이 AI로 복제된 목소리를 사용하여 신뢰 관계를 구축하고, 개인 계정에 침입한 다음, 그 안에서 발견한 정보를 이용해 해당 인물의 연락처를 노린다고 설명합니다. 이국은 2025년에 22,000건 이상의 AI 관련 사기 신고를 접수했으며, 보고된 손실액은 8억 9,300만 달러가 넘었습니다.

게이트웨이 문제

저는 카메룬에 있습니다. 이곳에서는 안드로이드 휴대폰 하나가 모든 관문(gateway)입니다. 모바일 머니(Mobile money), WhatsApp, 이메일, AI 앱, 그리고 이 모든 것을 보호하는 OTP(One-Time Password)까지 말이죠. 보조 기기도 없고, 사무실에 두고 다니는 업무용 노트북도 없습니다.

이는 대부분의 조언이 암묵적으로 가정하고 있는 보안 모델을 무너뜨립니다. "민감한 업무를 위해 별도의 기기를 사용하세요"라는 말은 이곳에서 타협할 수 있는 문제가 아니라, 선택지조차 없는 불가능한 일입니다. 휴대폰은 여러 요소 중 하나가 아니라, 모든 것이 유지되느냐 무너지느냐를 결정하는 단일 장애점(single point)입니다.

대부분의 사람들이 이 위험성을 비용에 반영(priced in)하지 못하고 있다고 생각합니다. 은행 계좌에는 사기 방지 부서와 환불 절차가 있습니다. 하지만 채팅 기록에는 둘 다 없으며, 오히려 그 가치는 더 높습니다. 왜냐하면 채팅 기록이야말로 사기를 처음부터 믿을 수 있게 만드는 핵심 요소이기 때문입니다.

내가 변경한 것들

사소한 것들이며, 그 중 영리한 것은 하나도 없습니다:

• AI 계정에만 적용되는 고유한 비밀번호와 2단계 인증(2FA) 설정. 이메일과 뱅킹에는 수년 전에 이미 적용해 두었지만, 정작 제가 가장 많이 대화하는 앱에는 어째서인지 적용하지 않고 있었습니다.
• 타인을 식별할 수 있는 그 어떤 것도 붙여넣지 않기 — 고객 이름, 실제 서브도메인(subdomain), 타인의 전화번호 등. 플레이스홀더(Placeholder)를 사용하는 데는 단 4초가 걸릴 뿐입니다.
• 기본적으로 메모리 기능(Memory off)을 끄고, 낯선 사람의 목소리로 다시 읽어주는 것을 원치 않는 모든 내용에는 임시 채팅(temporary chats)을 사용하기. 그러고 나서 이미 저장된 내용을 읽어보았는데, 참으로 기묘한 30분이었습니다.
• 내 말 한마디에 돈을 송금하도록 설득당할 수 있는 두세 명의 사람들과 약속된 확인용 단어(verification word) 정하기. 복제된 오디오(cloned audio)가 얼마나 정교한지 듣기 전까지는 이 말이 말도 안 되게 들릴 것입니다.

여전히 모르는 점은 사람들이 이것을 어떻게 탐지하느냐 하는 것입니다. 도난당한 카드는 거래 기록을 남깁니다. 하지만 새벽 3시에 누군가 당신의 2년 치 대화 내용을 읽고 있다면, 그것은 거의 아무도 열어보지 않는 설정 페이지에서 낯선 도시의 로그인 기록을 남길 뿐입니다.

그 워크숍의 여성은 그것을 신뢰한 것이 잘못된 것이 아니었습니다. 단지 그 질문을 입 밖으로 내어 질문받은 적이 없었을 뿐이며, 저 또한 마찬가지였습니다.

저는 1인 소프트웨어 개발, AI 툴링(tooling), 그리고 아프리카의 2차 도시에서 바라본 기술의 실제 모습에 대해 njei-blog.vercel.app에 글을 쓰고 있습니다.