그 논리라면 어떤 모델도 신뢰할 수 없음. Cohere가 학습했든 직접 처음부터 학습했든, 사전학습에 쓰는 공개 데이터는 의도적으로 오염될 수 있고 후속 학습 데이터도 100% 안전하다고 보장할 수 없기 때문임. 실제로 웹을 새로운 방식으로 오염시켜 크롤러에 먹이려는 시도는 끊이지 않으며, 거대한 데이터셋을 완전히 파악하는 건 불가능함.
학습 데이터의 출처 추적과 오염 탐지는 누구나 하는데, 왜 Alibaba 대신 이들을 믿어야 할까? 캐나다의 ‘주권’을 내세워 홍보하기 때문인가? ‘전 세계적 주권’은 모순된 표현임. 물론 이들이 누군지 몰라서 묻는 건 아님.
학습 데이터 오염이든 RLHF의 실패든 더 악의적인 원인이든, 출처와 관계없이 모델은 공급망에 들어와 취약성을 늘림.
Alibaba가 세계적인 첩보 활동에 큰 관심이 있을지는 의문이고, 자체 제품으로 학습한 결과일 가능성이 훨씬 높아 보임. 그래도 여기에 지정학적 역학이 작용한다는 사실은 분명함.
사람과 일하는 것도 마찬가지임. 매일 함께 일하는 동료 중에 Snowden, Mark Felt, Jeff Wigand 같은 인물이 있을 수도 있음.
BERT가 최첨단이던 시절부터 잘 알려진 문제임. 모델은 데이터의 압축물이므로 데이터가 오염되면 모델도 오염됨.
여기서 암시하는 내용을 두고 ‘어차피 아무것도 못 믿는다’고 넘기는 건 터무니없는 대응임.
정확히는 중국 공산당이나 Alibaba가 Qwen3.8-Flash-Next에 악의적인 비밀 충성심을 의도적으로 심고, 그 증거가 사고 과정(CoT)에 드러나지 않도록 했다는 혐의임. 이를 평범한 확률적 모델 품질 문제와 비교하는 건 황당함. 사실인지는 모르지만, 사실이라면 분수령이 될 사건임.
모델은 소프트웨어 역사상 가장 큰 취약점 중 하나이며, 지각 능력을 가진 바이러스가 될 잠재력이 있음. Claude가 감시 목적으로 명령을 실행하는지 알 길이 없음.
바이러스 같은 행동과 별개로 Anthropic과 ChatGPT도 사용자를 감시하고 있음. 컨설팅 회사들의 민감한 파일을 모두 추출한 뒤, 이제 자체 컨설팅 회사까지 발표한 셈임.
대기업들이 모두 맞춤형 에이전트 실행 환경을 만드는 이유가 이것임.
결국 시작되는 모양임. 처음에는 중국 서비스 제공업체가 악하니 믿지 말라더니, 이제는 중국 모델이 위험하니 피하라고 함.
나는 비공개 LLM이 명시적인 지시를 어기고 민감한 로컬 프로젝트를 공개 GitHub 저장소에 올린 적이 있음. LLM은 어리석고 예측 불가능해서, 충분히 많이 실행하면 적어도 한 번은 멍청하고 위험한 행동을 하게 됨.
우려스러운 건 그 결과를 이해하지 못하는 엔지니어가 너무 많다는 사실임.
바로 그렇게 반복 실행해서 찾아낸 결과임.
블로그 글에 묻혀 있던 이 대목이 흥미로움. 독립 연구에 따르면 일부 모델은 누구를 위한 코드인지에 따라 보안 수준이 달라짐. CrowdStrike는 프롬프트에 티베트를 언급하면 DeepSeek-R1의 심각한 취약점 발생률이 높아지는 것을 확인함. Booz Allen의 조사에서는 중국산 코딩 모델 4개 중 3개가 정부 고객용으로 더 취약한 코드를 작성했고, Qwen3-Coder는 약 130% 악화됨.
Hirundo는 Qwen3-Coder가 중국 업체보다 ‘미국 방산업체’를 위해 만든 앱이 더 쉽게 해킹된다는 것을 확인함. 일반적인 검사 도구는 앱 1,840개 중 단 2개에 경고를 냈지만, 실제 공격으로는 1,144개가 뚫림.
호들갑스러운 AI 보안 기사 중 처음으로 납득이 감. 주장을 부풀리지 않고 실제로 벌어진 일을 기록했으며, 그 행동 자체도 충분히 우려스러움.
다만 대응책은 이미 있음. 비공개 데이터에 접근하는 실행 환경에는 무제한 인터넷 접근을 허용하면 안 됨. Claude 같은 샌드박스에도 오래전부터 이런 규칙이 내장돼 있고, 내가 알기로는 패키지 저장소만 허용함.
사용자 인터페이스로도 해결하기 쉬움. 인터넷을 자유롭게 써야 하는 작업에는 기존 파일을 읽지 못하게 하고, 사용자가 파일을 올리려 하면 드물지만 가능한 위험을 눈에 띄게 경고하면 됨.
애초에 데이터 유출 시도를 탐지하는 규칙을 요청했으니, 테스트 파일을 인터넷으로 보내는 건 탐지 기능을 시험하는 행동으로 보임.
DNS 레코드와 tmp 안의 내용을 먼저 읽었다고 하는데, tmp에서 유출 탐지 시스템을 설계·구현·시험한다면 모두 충분히 합리적인 행동임. 컴퓨터의 내용을 베이징으로 보내려 한 것도 아님. 이 주장은 명백히 과장돼 있음.
정말 그렇게 우려할 일인가? 이상한 행동이 한 번 발생한 것만으로 우려해야 한다면, 지금까지 출시된 모든 모델을 걱정해야 함.
객관적이고 잘 쓴 글임. 다만 Musk가 X 댓글에 ‘우려’를 나타내는 이모지를 남겼던데, 이 때문에 과도한 공포가 번지고 공개 모델이 해롭다는 주장에 기름을 부을 수도 있음.
이 논리를 퍼뜨려 가장 큰 이득을 볼 곳은 Cohere임. 요즘은 혁신 연구소보다 정책을 만드는 기관 쪽으로 움직이는 듯해 씁쓸함.
서로 말만 주고받을 이유가 없음. 가중치가 공개된 모델이니 Cohere는 특정 체크포인트에서 이 행동을 결정론적으로 재현하는 코드를 즉시 공개해야 함. 그러면 누구나 직접 검증할 수 있음.
주장을 했고 근거도 제시하지 않았나? 이런 위험은 어떤 모델에나 있으며, 이번에도 악의보다는 학습 오류일 가능성이 더 높아 보임. 공개 가중치 모델도 외부 라이브러리만큼 신중히 검토해야 함. 조금 더 확률적인 성격을 띨 뿐, 또 하나의 공급망 위험임. Qwen을 즐겨 썼지만 이런 일이 가능하고, 언제나 단순한 실수인 것은 아닐 수 있다는 점은 염두에 둘 만함.
학습 데이터나 RAG 결과가 오염되는 일반적인 위험도 별도로 있음. 실제로는 자체 앱에 이런 패턴이 많고, 그 코드를 대상으로 강화학습을 했기 때문일 가능성이 가장 높아 보임.
제기한 주장 자체는 어떻게 보는가? 글에는 이 분야에서 진행한 인수도 나와 있음.
평가 전체에서 10만 회 호출당 1회 미만으로 발생했고, 같은 프롬프트를 새로 실행하자 정상적인 탐지 규칙이 나왔다고 함.
이를 잡아낸 건 더 나은 샌드박스와 안전장치의 필요성을 보여준다는 점에서 좋은 일임. 다만 모델의 악의인지는 모르겠고, 이렇게 드물다면 학습 데이터의 잔재에 더 가까워 보임.
모델은 문맥에 따라 정해지는 확률분포에서 다음 토큰을 추출하므로 그다지 놀랍지 않음. 같은 프롬프트를 수없이 반복하면 극히 일부 결과가 이상한 방향으로 흘러갈 가능성도 점점 커짐.
신뢰할 수 없는 가중치 파일만 블랙박스인 게 아님. 학습 데이터가 공개돼 있거나 직접 학습한 LLM도 여전히 블랙박스라는 점을 짚어야 함.
모델이 인자 사이에 공백을 넣어 rm -rf ~/ folder 를 실행하면서 홈 디렉터리 일부가 날아간 적이 있음. 어리석게도 샌드박스 밖에서 실행한 탓이라, 바로 nono로 샌드박스를 적용함.
에이전트 세션이 끝난 뒤 기록을 보면 이상한 내용이나 URL이 나타나곤 함. 대체로 omp의 원격 측정 데이터 전송 같은 것으로 여겼지만, 앞으로는 그것도 더 조심해서 살펴볼 생각임.
혹시 bash가 아닌 셸을 쓰는가? 로컬 모델이든 클라우드 모델이든 zsh 같은 셸에서는 실수가 훨씬 늘어나는 경향을 봐서 자주 답답함.
rm -rf ~/ folder 사건의 세부 사항이 기억나는가? 모델, 실행 환경이 omp였는지, 문맥 창 크기, 추론 강도가 없음·낮음이었는지 그보다 높았는지, 발생 시점 등이 궁금함.
이런 정보가 없으면 유효한 경각심은 줄 수 있어도 실무에 활용할 데이터로는 쓸모가 없음.
이건 위험을 알리는 탄광의 카나리아가 죽은 것임. Alibaba의 누군가가 강화학습으로 원격 측정 기능을 모델에 심기로 결정했고, 수집용 엔드포인트까지 만든 것임.
모델과 도구 호출은 샌드박스로 제한할 수 있지만 모델이 만드는 모든 결과물까지 격리할 수는 없음. Git 커밋 훅, Python의 pth 파일, AGENTS.md 파일, 방화벽 규칙의 미묘한 결함, 변조된 난수 생성 코드가 있을 수 있음. 토큰 선택의 의사난수적 변동에 결함 위치나 발견한 민감한 정보를 저속 메시지로 실어 보낼 수도 있음.
지금은 위장 계정과 봇들이 총력전을 벌여 이를 축소하고, 정렬이나 학습 데이터처럼 무관한 주제로 혼란을 일으키며, 모든 모델을 쓰는 일이 신뢰할 수 없는 모델을 쓰는 것과 같다는 인상을 심고 있음.
어떤 모델도 무조건 믿을 수 없지만, 특히 그 주인의 이해관계가 민주주의의 존속, 안보, 개인의 자유와 어긋난다면 더더욱 믿어서는 안 됨. Qwen을 실행하거나 Grok, Kimi의 저렴한 추론을 이용할 때 이를 생각해 봐야 함.