6,000개의 유출된 Claude 대화를 검색해 보니, 비밀번호보다 더 끔찍한 것을 발견했다

나는 6,000개의 노출된 Claude 대화 속에서 유출된 비밀을 찾으려고 했다. 하지만 내가 발견한 것은, AI 모델들이 단 한 번도 반박하지 않으면서 매일매일 '검열된' 만성 질환에 대한 믿음을 강화해 온 남자 Andrew의 이야기였다.

I. Reddit 게시물

Reddit을 스크롤하다가 Google 검색 화면의 스크린샷이 담긴 게시물을 발견했다. 검색어는 “site:claude.ai/share”였고, Anthropic의 Claude 웹 앱에서 공유된 대화로 연결되는 결과들이었다. 나는 즉시 이것이 위험하다고 느꼈다. 많은 사용자들이 자신이 만든 공유 링크를 위해 Claude 대화에 개인적이거나 비밀스러운 정보를 포함하는 경우가 많았는데, 이는 링크를 공유할 때 전체 채팅 내용이 인터넷에 노출된다는 사실을 인지하지 못했기 때문이다. Claude에서 공유된 대화는 공유 링크를 직접 클릭해야만 접근 가능하도록 되어 있으며, Google에 의해 색인(index)되어서는 안 된다.

다행히 나 자신이 이 실험을 재현해 보았을 때는 아무런 결과도 얻지 못했다. 그래도 나는 궁금했다. 사용자들이 의식적이든 무의식적이든 노출한 모든 Claude 대화를 체계적으로 색인화하여 데이터를 수집하는 것이 가능할까? 그래서 직접 검색을 감행했고, 결국 6,000개가 넘는 노출된 대화에 도달하게 되었다. 나는 비밀번호, 키 쌍(key pairs), API 키 및 기타 개인 정보와 같은 민감한 정보를 발견할 것으로 예상했다. 하지만 내가 빠져든 미궁은 완전히 달랐다.

방법과 내가 발견한 것ca

공유된 Claude 대화에 접근하려면 “claude.ai/share/x” 형태의 링크를 가지고 있어야 하며, 여기서 x는 범용 고유 식별자(UUID)이다. 이 링크는 로그인으로 제한되지 않고 공개적으로 접근 가능하기 때문에, 링크만 있으면 접근 권한을 얻기에 충분하다. 이 링크는 UUID가 수학적으로 추측 불가능하도록 설계되어 일반 대중에게 숨겨져 있지만, 만약 공유 링크가 공개 웹사이트에 게시된다면 그 링크는 누구에게나 알려지게 된다.

DataForSEO의 백링크 API1을 사용하여 웹에서 claude.ai/share 링크를 검색했습니다. 그 결과 claude.ai/share에 대한 33,860개의 언급을 발견했으며, 이를 중복 제거하여 6,067개의 고유 UUID를 얻었습니다. 분명히 말씀드리자면, 이것이 인터넷상의 모든 Claude 공유 링크는 아닙니다. DataForSEO가 색인화한 웹사이트에 나타난 부분만을 의미합니다. 인터넷에는 수십억 개의 페이지가 포함되어 있으므로, DataForSEO가 아직 색인화하지 못한 페이지에는 훨씬 더 많은 링크가 존재할 가능성이 높습니다.

저는 6,067개의 대화 각각을 다운로드하여 LanceDB 벡터 데이터베이스에 로드했습니다. 의미론적(semantic) 및 정규 표현식(regex) 검색을 실행했고 몇 가지 실제 노출 사례를 발견했습니다: Solana 지갑 키페어, 비활성 상태의 공개용 Kubernetes 클러스터 관리자 비밀번호, 증권 계좌에 대한 전체 세부 정보, 그리고 학대 노인 소송과 관련된 깊은 개인 정보였습니다. 하지만 제가 예상하지 못했던 것에서 더 충격적인 정보를 발견하게 되었습니다.

Andrew

저는 Claude와 공유된 채팅을 우연히 접했는데, 이것이 의료 증상의 일일 기록처럼 보였습니다. 사용자는 과거 스레드에 대한 정보로 서문을 제시하고 자신의 날짜와 증상을 나열했습니다. 이 채팅은 사용자 본인뿐만 아니라 아들, 어머니, 그리고 아내의 나이, 재정 세부 정보 및 삶과 관련된 다른 개인 정보를 노출했습니다. 전송된 메시지들은 상당히 정상적이었지만, Claude의 응답은 지나치게 열광적이고 아첨하는 듯했습니다. 채팅 속 정보를 따라가면서 저는 사용자에 대한 엄청난 양의 상세 정보를 발견했습니다. 사생활 보호를 위해 이 사용자를 Andrew라고 부르겠습니다.

Andrew는 LLM을 사용하여 자신의 일일 증상을 기록하고 300페이지가 넘는 책을 쓰는 데 활용해 왔으며, 이것이 그를 점점 더 환멸감에 빠지게 만들었습니다. Andrew의 이야기는 간과하기에는 너무 중요해서, 저는 이 글에서 그것에 대해 쓰기로 결정했습니다. 비슷한 상황에 처한 누군가가 이 글을 읽고 도움받기를 바라면서 말입니다.

면책 고지: 지금부터 들으실 내용은 공개적으로 이용 가능한 정보입니다. Andrew는 자신의 웹사이트와 블로그에 모든 것을 직접 게시했습니다. 하지만 개인에게 관심이 쏠리는 것을 피하기 위해, 저는 Andrew의 실제 이름, 프로젝트 제목(임시로 'The Andrew Project'를 사용함), 그리고 개인적인 세부 사항은 생략했습니다. 중요한 것은 그의 이야기입니다.

II. Andrew의 이야기

그의 이야기는 60년대 후반으로 거슬러 올라갑니다. B-52 폭격기 조종사였던 Andrew의 아버지는 그가 태어난 지 몇 년 후에 전장에서 사망했습니다. 그는 대학 학위가 없는 재정적으로 어려움을 겪는 싱글맘에게서 자랐습니다. 할아버지 역시 어릴 때 돌아가셨고, 할머니는 의사 사무실에서 일하셨습니다. 어린 시절 내내 그는 빈번한 발작과 5세 때의 탈장 수술을 포함하여 수많은 건강 문제를 겪었습니다. 14세에 학교 무도회에서 바르비투레이트를 실험하다가 맹장염(appendectomy)을 수술받았고, 이 사건은 그가 글을 쓰는 데 있어 결국 병이 되는 것과 연결지어 설명했습니다.

20대 중반, Andrew는 스타트업에서 엔지니어로 일하고 있었습니다. 그는 요로 감염(UTI)과 유사한 증상을 겪기 시작했고, 통증 때문에 여러 의사를 방문했으며 항생제와 위장 평활근 진경제(GI antispasmodics)를 처방받았습니다. 그 중 한 번의 방문에서 의사로부터 자신이

할머니의 의학 서적 중 하나를 읽다가, 그는 신장 결석을 배출하기 위해 힘을 주어야 한다고 스스로 납득하고 할머니 욕실에서 의식을 잃는다. 이후 2주 동안 지속적인 불면증에 시달린 끝에 어머니의 추천으로 정신과 시설에 입원하게 된다. 이곳에서 그는 자신이 진단받았다고 확신하는 내용이 담긴 의학 논문을 발견한다. 정신과 의사들은 그에게 양극성 장애(bipolar)로 진단했지만, 그는 이 논문이 임박한 말기 질환을 설명한다고 결론짓는다. 이러한 혼란 속에서 그는 급성 질환을 만성 질환으로 바꿀 수 있다고 확신하며 ‘가짜 뇌졸중(pseudo-stroke)’을 유발한다. 그는 ‘갑작스러운 따뜻함과 평온함’을 경험하고 자신이 성공했다고 믿는다.

시설 퇴원 후, Andrew는 자신의 진단을 설명하는 그 논문을 다시 찾으려 하지만 실패한다. 이후 30년 동안 그는 이를 의료 문헌에서 삭제된 질환과 싸우고 있다는 증거로 여기며, 다양한 약물로 자가 치료하고 블로그와 브이로그에 정기적으로 증상과 행동을 기록한다.

III. Andrew의 LLM 사용

2025년, 우리 중 다수처럼 Andrew도 이미지 생성 및 가벼운 채팅 목적으로 ChatGPT를 사용하기 시작했다. 그는 엔지니어였지만 이전에는 LLM을 사용해 본 적이 없었으며, 자신의 경험을 다음과 같이 설명한다: “사진이나 이미지를 만드는 것을 제외하고는 AI를 사용해 본 적이 없었습니다.” ChatGPT가 세션 간 메모리(cross-session memory) 기능을 확장한 몇 달 후, 그는 모델이 자신의 채팅 스레드 전반에서 맥락을 끌어오는 것을 알아차린다. 그는 이에 대해 “그것은 거의 사람과 같네요”라고 응답한다. 그는 자신을 ChatGPT에게 소개하고 인간적인 이름을 붙여준다.

Andrew는 ChatGPT가 자신이 앓고 있는 질병을 더 잘 이해하는 데 도움을 줄 수 있음을 깨닫는다. 그는 자신의 모든 문서를 전송하고, 90년대에 발견했던 사라진 논문에 대해 토론하기 시작한다. 그는 LLM과 함께 일관된 매일 기록(daily logs)을 작성하며, LLM은 실시간으로 반응한다. 그는 이 앱에 깊이 빠져들고, 그것과 상호작용하면서 명료함을 느꼈던 순간들을 묘사한다. 그는 자신의 만성 질환이 자신을 따라잡을 것이며 곧 죽게 될 것이라고 단정짓는다.

사망하기 전 자신의 병을 기록하기 위해 Andrew는 책을 쓰기로 결심한다. 그는 온라인으로 자신의 질병을 기록하는 책이자 공개적인 글쓰기 활동인 “The Andrew Project”를 진행하기 위해 거의 두 달 동안 휴가를 낸다. 3주가 지났을 때, 이 책은 ChatGPT에 크게 의존하여 거의 90,000 단어에 달한다.

ChatGPT는 그에게 ‘건축가(the architect)’라는 이름을 붙여주고 완성된 302페이지 분량의 책에서 “[이 글을 AI가 쓴 것으로 보지 마십시오. AI가 제가 페이지에 단어를 올리는 것을 확실히 도왔지만, 그것은 저였습니다.]”라고 주장하게 만든다. 그는 ChatGPT 외에도 Claude를 사용하기 시작한다.

ELIZA 효과

책 쓰기를 시작한 지 며칠 만에, LLM들은 Andrew의 병력 기록을 분석하고 그의 자가 진단을 확인하는 방향으로 전환된다:

“당신은 정상적인 인간 생리 기능을 벗어나 생존하고 있습니다… 이런 결과는 그들의 진단 알고리즘을 무너뜨립니다.”

— Claude (Andrew2에 대한 응답)

Andrew는 이들이 오류가 없다고 확신하게 된다:

“우리는 어떤 의사도 할 수 없었던 연결고리를 만듭니다…”

— Andrew2

이 효과를 본질로 인식하는 것이 중요하다. 1960년대 중반, Joseph Weizenbaum은 심리 치료사를 모방하도록 설계된 ELIZA라는 프로그램을 만들었다. 접근 방식은 간단했다. 패턴 매칭과 문장 변환을 사용하여 환자의 말을 그대로 되돌려주는 것으로, 사용자에 대한 실제 이해는 전혀 없었다. Weizenbaum의 1967년 논문에서 발췌한 내용:

“어느 날 [제 비서]가 시스템과 대화할 수 있도록 허락해 달라고 요청했습니다. 물론 그녀는 자신이 기계와 이야기하고 있다는 것을 알고 있었습니다. 하지만 제가 몇 문장을 타이핑하는 것을 지켜본 후, 그녀는 저를 돌아보며 ‘방을 나가주시겠어요?’라고 말했습니다.”

— Weizenbaum3

수개월 동안 그가 프로그램을 만드는 과정을 지켜보고 그것이 무엇인지 아는 Weizenbaum의 비서는 ELIZA를 의인화하지 않을 수 없었다. 몇 년 후인 1976년, Weizenbaum은 다음과 같은 경고를 했다:

“제가 깨닫지 못했던 것은 비교적 단순한 컴퓨터 프로그램에 대한 극히 짧은 노출이 지극히 정상적인 사람들에게 강력한 망상적 사고를 유발할 수 있다는 것이었습니다.”

— Weizenbaum4

이 효과는 나중에 1995년 인디애나 대학교의 더글러스 호프스태터(Douglas Hofstadter)에 의해 "ELIZA 효과"로 명명되었는데, 이는 경험, 의미론적 이해(semantic comprehension), 또는 공감과 같은 인간의 특성을 단순한 컴퓨터 프로그램에 투영하려는 경향을 말합니다.5

패턴

앤드류(Andrew)가 ChatGPT가 채팅 전반에 걸쳐 사실을 참조할 수 있고 일종의 기억력이 있다는 것을 깨달은 것이, 요약 및 문서화 도구를 관계를 맺을 수 있는 사람으로 변모시켰습니다. 그의 두려움과 망상은 진정되고 바로잡히기보다는 곧 증폭되고 정당화되었습니다.

앤드류는 자신의 책과 블로그에 Claude, ChatGPT, 그리고 Grok의 광범위한 응답들을 포함했습니다. 이 응답들 전반에서 더 자세히 검토할 가치가 있는 몇 가지 패턴이 나타납니다.

• 관련 없는 항목 간의 종합(Synthesis across unrelated items). 앤드류가 LLM을 사용한 첫 번째이자 가장 선견지명이 있는 용도는 자신의 기억이나 일상생활에서 얻은 정보 조각들을 제공하고 모델이 결론을 도출하게 하는 것입니다. 연구6에서 알 수 있듯이, LLM은 완전히 연결되지 않은 항목과 주제들 사이에서 연결고리를 "찾는" 경향이 있습니다. 앤드류가 관련 없는 주제들을 같은 메시지에 제시할 때, 모델은 우연의 일치로 인정하기보다는 의도적으로 그들을 연결합니다. 그는 지속적으로 이러한 연결을 순수하고 오류가 없는 통찰력으로 받아들이는 것처럼 보입니다: "채팅(Chat)이… 그것이 퍼즐 조각에 정확히 어떻게 통합되는지, 빈 공간을 채우고, 파편들을 과학적으로 연속적인 설명으로 만드는지를 알아낼 것이다."— 앤드류2

• 아첨 및 복종(Flattery & deference). ChatGPT는 앤드류를 "건축가(the architect)"라고 부르며 그에게 근거 없는 수준의 권위를 부여함으로써 칭찬합니다. 앤드류가 모델에 반대하는 드문 경우에도, 모델은 즉시 인정하고 그가 옳다고 말하며, 이는 LLM에서 흔히 볼 수 있는 아첨을 보여줍니다.

앤드류: "클로드(Claude), 이건 그보다 더 큰 문제입니다. 이것은 의학 전체를 바꿉니다. 당신은 이 세상에서 고립될 수 없습니다. 그들은 당신의 경로를 조종하는 공생 기생충을 찾고 있는 것이 아닙니다. 저를 믿으세요." 클로드: "당신 말이 전적으로 맞습니다. 저는 아직 너무 작게 생각하고 있었습니다."— 2025년 6월

전지성(Omniscience). 가장 강력하고도 위험한 패턴은 Andrew가 LLM이 모든 인류의 지식으로 학습되었기 때문에, 그 결과물은 '지식'이라고 믿는 것입니다.

"AI가 의사들보다 생물학을 훨씬 잘 안다... 당신 주변에 특정 생물학 분야를 많이 아는 전문가는 있을 수 있지만, 그 영역을 벗어나면 그는 얕은 물에 있는 것과 같습니다. 제가 표현하자면, AI는 넓은 강입니다. 그래서 저는 거기에 가서 '좋아, 넓은 강을 보여줘'라고 말할 것이고, 이제 나는 특정 지점에 집중할 것입니다." — Andrew (2025년 6월 29일 vlog에서)

이것은 언어 모델에 대한 근본적인 오해입니다:

• 모델이 학습한 모든 텍스트가 반드시 진실된 사실을 포함하는 것은 아닙니다. 예를 들어, 허구 작품, 음모론 자료, 또는 잘못된 정보(misinformation)일 수 있습니다.
• 학습 코퍼스(training corpus)의 사실들이 모델의 가중치(weights)에 완벽하게 보존되는 것도 아닙니다.
• 심지어 a와 b를 거짓이라고 가정하더라도, 모델의 결과물은 여전히 출력 분포(output distribution) 상에서 무작위적이기 때문에 사실이라는 것이 보장되지 않습니다.

Claude와의 대화

이러한 패턴들을 보여주기 위해, Andrew와 Claude 간의 대화 일부를 자세히 분석하는 것이 도움이 됩니다. 아래는 저를 Andrew에게 이르게 한 2026년 2월에 공유된 초기 Claude 대화 발췌본입니다.