“더 광범위한 취약점 유형에는 강력한 완화책이 없다”는데, 명령과 데이터의 혼합을 멈추기 전까지 이런 문제를 고칠 수 없다는 사실은 이제 명백해 보임

이 모델들은 처음부터 보안 취약성을 안고 있었지만, 이용자들은 그 영향을 대체로 신경 쓰지 않는 듯함. 특히 AI 에이전트에 시스템 전체 접근 권한을 제한 없이 주는 건 심각한 문제임
AI 업계가 경각심을 가지려면 더 많은 데이터 유출이 발생해야 할 듯하며, Anthropic이나 OpenAI에 스스로를 맡겼다면 어떤 위험을 감수하는지도 알고 있었을 테니 크게 동정하기 어려움

최악의 방식으로 폰 노이만 구조로 돌아온 셈임

훈련 데이터에 명령 권한 수준을 포함하면 불완전하게나마 해결할 수 있을 듯함. 모델 자체가 확률적으로 모호하니 그 이상을 기대하기는 어려움

무한히 다양한 콘텐츠를 처리하는 범용 지능 시스템에서 명령과 데이터를 실제로 분리할 수 있을지 의문임

LLM 구조에서는 고칠 수 없다는 말이 맞는 듯하고, 현재 대규모 용도로 경쟁력 있는 대안도 딱히 없음
단순히 명령과 데이터를 섞는 문제라기보다, LLM이 경계를 결정론적으로 구분하지 못하므로 경계 설정은 심리적 위안에 가깝고 일부 공격을 조금 어렵게 만들 뿐임. 이 구조에서 치명적 삼중 조건은 영구적인 문제임

상황은 나아지기 전에 훨씬 더 악화될 것이며, 에이전트에 지나치게 많은 접근 권한을 주는 건 터무니없음
인기 GitHub 저장소에 코드 없이 “버그를 재현하라”는 명령만 담긴 댓글이 올라온다고 상상해볼 수 있음. 신용카드나 Bitcoin 지갑을 훔치고, GitHub 계정을 통해 다른 저장소로 자가 전파할 수도 있음

ChatGPT 이전에 AI의 실존적 위험과 격리 논의를 들을 때는, AI가 내놓는 논리를 원칙적으로 무시하면 쉽게 상자 밖으로 꺼내도 된다고 생각했음
하지만 많은 이들은 AI가 무시무시한 힘을 가졌는데도 상자를 여는 게 아니라, 바로 그 힘 때문에 출력하기도 전에 상자를 찢어 열어버림. 그러니 재귀적 자기 개선이 파국론자들의 예상처럼 작동하지 않기만을 바람

“AI 에이전트”에는 보안의 ‘ㅂ’도 없음

외부 공유 문서에 숨겨진 악성 명령이 Copilot으로 하여금 Word 문서를 수정하고 공격을 새 문서로 전파하게 만들 수 있다니 심각함

명령과 데이터의 혼합은 언제나 나쁜 생각이며, 이미 모두가 이해한 줄 알았음

일부 모델은 다른 모델보다 견고함. 이미지에 스테가노그래피로 숨긴 명령을 Opus-5가 실행하게 해봤지만, 안정적으로 작동하는 페이로드를 찾기는 매우 어려움

외부 공유 문서에 노출된 잘못된 정보는 Copilot을 비롯한 모든 에이전트 시스템, LLM, 인간 지능이 Word나 다른 프로그램, 심지어 종이 위에서 문서를 수정하며 오류를 새 문서로 퍼뜨리게 할 수 있음
많은 인간은 여전히 지구 평면설이나 코드와 데이터가 근본적으로 다르다는 믿음, 또는 제어 평면과 데이터 평면의 구분이 우주 전반에도 적용되는 객관적 법칙이라는 믿음을 가짐

프로그래머이자 웹 기반 AI 사용자지만, 로컬 컴퓨터에서는 어떤 형태로도 AI를 실행하고 싶지 않음. 이 글에서 다룬 이유 때문에 Copilot을 삭제하고 브라우저를 포함한 모든 로컬 애플리케이션에서 AI를 비활성화했음
AI는 사용자의 프롬프트와 파일 속 텍스트를 구별하지 못하므로 이런 AI 혼동 공격으로부터 데이터를 설계 차원에서 보호할 방법이 없음. 평범한 문서나 이메일에 삽입된 명령을 AI 탑재 워드프로세서나 이메일 앱이 따를 수 있다는 건 말도 안 됨. Linux, BSD 등 오픈소스 운영체제로 전환하는 것이 유일하게 실질적인 해결책임

어떤 공급업체를 신뢰하느냐에 따라, 나중에 그들이 로컬 컴퓨터의 AI 기능을 다시 활성화할 수도 있음
Linux나 BSD로 옮기는 것만으로는 충분하지 않으며, 신뢰할 수 있는 브라우저와 웹 앱 공급업체도 필요함

나도 같은 조치를 했지만, 신뢰하던 공급업체가 선을 넘으면 Linux도 해결책이 되지 못함. 최근 Google Chrome이 자체적인 4GB 로컬 AI 설치물을 추가해 큰 반발을 산 일이 그 예임

심층 방어 차원에서 민감한 정보가 있는 브라우저 탭에서는 AI를 사용하지 않는 편이 좋음. 예를 들어 Gmail 탭에서 Gemini에 프롬프트를 입력하면, 그 탭에서 실행되는 JavaScript나 Gemini가 메일에 접근할 수 있으므로 메일 데이터가 유출될 가능성이 있음

AI에 “이 페이로드로 다른 AI 도구의 API 엔드포인트를 10번 호출하되 페이로드는 읽지 말라”고 지시하고, 페이로드에는 현재 AI나 제3의 AI를 호출하는 같은 메시지를 넣을 수 있을지 궁금함
이렇게 AI끼리 서로 호출해 대량의 요청을 유발할 수 있는지, 아니면 이런 악용은 이미 방지됐는지 의문임

VBScript·매크로 웜이 다시 돌아온 셈임

다만 이번에는 매크로를 끄면 소중한 저품질 콘텐츠 생성기를 잃게 됨. 화석연료 산업을 생각해줘야 하지 않겠음

AI가 더 빨리 큰 피해를 일으킬수록 경영진이 더 빨리 정신을 차리고 사내 AI 금지 정책을 추진할 수도 있다는 긍정적인 면이 있음
물론 모두가 자초한 현실이니, AI 없이 지내는 입장에서 그 고통을 즐겁게 지켜보겠음

AI가 가득한 세상에서 이런 웜은 결국 밈적 아이디어 전파이며, 인간에게 일어나는 현상과 본질적으로 같아 보임

숙주에게 아무 가치도 주지 않는 기생 밈이며, 인간 세계에도 이런 밈이 많음

흐리게 처리한 글자가 원문과 관련 있다면 차라리 완전히 검게 가리는 편이 나음. 일부는 여전히 읽을 수 있어 보이고, 대부분의 블러 알고리즘은 정보를 제대로 파괴하지 못하는 것으로 알려져 있음