Meta의 Muse, 귀여운 외양에 가려진 개인정보 보호와 보안의 총체적 난국

Muse에 꽤 불만이 있고 여가에 Meta를 옹호하고 싶지도 않지만, 이 기사는 너무 낚시성임.
“탈옥시키면 VM 내용을 털어놓는다”는 건 애초에 의도된 기능임. VM 안의 콘텐츠는 모두 사용자 것이고, 저장된 인증 정보 등과 분리된 격리 환경에서 실행되므로 사실상 자기 컴퓨터나 마찬가지임. 속일 필요도 없음.
“연락처 인물들의 신상 자료를 수집한다”는 것도 memory.md 등과 함께 개인 VM에 저장되는 텍스트 파일임. 비서가 매일 연락하는 상대를 전부 잊어버리길 원하는 건가?
“전체 디스크 접근 권한 없이 Messages를 읽었다”는 건 앞뒤가 맞지 않고 입증되지도 않았음. 전체 디스크 접근 권한은 운영체제 수준의 보안 경계이므로 사용자가 직접 켜야 함.
다만 물건을 너무 싸게 팔고 주소까지 넘겼다는 건 믿을 만함. Muse의 진짜 한계는 LLM이 복잡한 작업을 제대로 수행하기에는 너무 멍청할 때가 많다는 데 있음.

에이전트의 매력은 이해함. 늘 바라던 미래 기술이지만, 은행 계좌나 이메일·대화 기록에 접근하게 하거나 감독 없이 가격 비교와 쇼핑을 맡길 수는 없겠음. 내 돈과 대화를 맡길 만큼 신뢰하는 제품은 하나도 없음.

AI 낙관론자들은 지금이 낙관적이던 1990년대가 아니라는 걸 놓치고 있음. 이미 지배적인 기술 기업의 사업 모델이 편의성을 미끼로 사용자를 의존하게 만들고 가둔 뒤 가치를 뽑아내는 것임을 봐 왔음. 개발사와 독립된 직접 관리하는 플랫폼에서 실행되는 비서가 아니라면, 막대한 거래상대방 위험만 보임.

도구의 가치는 알지만 Meta 제품은 절대 쓰지 않을 것임. 자체 호스팅과 엄격한 제약 장치가 필요함. 로컬 모델이라도 나이지리아 왕자 사기나 최신 이메일 사기에 속아 실수로 5만 달러를 송금하지 못하게 해야 함.

맥락 열화와 추론 붕괴를 목격한 뒤로는 어떤 LLM에도 핵심 업무를 맡길 수 없게 됨. Jev, grok, fable, Opus 모두 마찬가지임.

에이전트를 신용카드나 금융 계좌에 연결할 때 빠진 요소는 금전적 배상 책임임. Meta나 OpenAI 등이 의도치 않은 모든 일에 전액 보상을 보장하고 실제 보상 실적도 쌓는다면, 금융 판단을 맡기기가 더 쉬워질 것임.

이런 과도한 불신은 안타까움. 에이전트는 실제로 좋은 변화에 기여할 수 있음.
어젯밤 ChatGPT로 오래된 이메일 계정을 살펴보며 완전히 잊었던 추억과 정겨운 사람들을 다시 떠올렸음. 직접 Gmail을 검색할 수도 있었겠지만, 에이전트가 찾아준 방식은 정말 와닿았음. Sam Altman이 이제 내 이메일을 갖게 됐는지는 신경 쓰지 않음. 과거와 다시 연결되고 오래전 추억을 즐기는 게 더 소중함.
HN의 편집증적인 훈계꾼들은 무슨 이유인지 평범한 사람들이 이런 가치를 누리지 못하게 하려는 것 같음.

세계 최대 광고 기업들이 AI 개인 비서와의 대화에서 수집한 가장 은밀한 비밀을 판매에 활용하지 않을 가능성은 0임. 장기적으로는 반드시 그렇게 할 것임.

물건 판매뿐 아니라 돈이 되는 경로라면 어디로든 사용자를 몰아넣을 것임.

판매에 활용하는 건 일차적인 결과에 불과함. 성격·생활 방식·비밀에 무제한으로 접근하면 전례 없는 조작과 통제가 가능해짐. 단순히 물건을 파는 것을 넘어, 신뢰받는 에이전트를 통해 대중의 행동을 은밀하게 조종하는 새로운 부의 이전으로 볼 수 있음.

결국 전부 에이전트가 사용자와 같은 권한을 갖는다는 이야기 아닌가? Meta를 신뢰하고 싶다는 건 아니지만, 에이전트가 root 권한을 요청했고 사용자가 허용한 것 아닐까?

맞음. 이 모든 것에 접근하도록 의도적으로 설계된 게 분명함. 별도 요청 없이 화면에서 읽을 수 있는 시스템 프롬프트에도 Meta가 아니라 사용자를 대신해 행동하라고 명시되어 있음. 기억 파일, 스킬, 데이터베이스 스키마, 기억 통합 시스템 등도 일부러 조회 화면을 만들어 공개해 둠.
Meta를 더 좋아하거나 신뢰하게 된 건 아니지만, 이 부분을 어떻게 더 잘 만들 수 있었을지는 모르겠음. 이런 에이전트 자체가 상당히 위험하긴 해도 Muse가 유독 더 위험해 보이지는 않음.
써보면 공개된 지침과 모순되는 숨은 프롬프트가 있다는 느낌도 들지 않음. 의도하지 않았고 Meta의 이익에도 어긋날 법한 방식으로 VM을 쓰는 데 오히려 신나 보일 정도임. 이런 형태로 출시되기까지 흥미로운 내부 권력 다툼에서 누군가 승리했을 것 같음.

아마 그렇겠지만, 에이전트가 보안 모델의 허점을 찾아내기도 함. 게다가 Meta는 안전하지 않다는 걸 알면서도 마케팅 역량을 총동원해 안전하다고 주장하고 모든 권한을 허용하도록 적극 유도함. 이렇게 속이는 상황에서 사용자를 탓하기는 어려움. 다른 에이전트 업체들은 조심하라는 식으로 신중하게 접근하지만 Meta는 정반대임.

Muse가 Apple Messages에서 동료와 나눈 대화를 언급하는 알림을 먼저 보냈고, Aten은 메시지 읽기 권한을 준 적이 없다고 함. 전체 디스크 접근 권한이나 허용 팝업 없이 이게 어떻게 가능한가? 정말 가능하다면 Meta보다 Apple 쪽의 훨씬 큰 보안 허점임.

어디까지나 추측이지만 알림 미리보기로 메시지에 접근했을 가능성이 있다는 이야기를 봤음. 최근 Signal 메시지 유출에도 비슷한 방식이 쓰이지 않았나?

연결된 기사들을 읽어보면 권한 없이는 불가능한 것으로 보임. 다만 Apple은 최신 업데이트 전까지 전체 디스크 접근 권한으로 다른 앱의 데이터에도 접근할 수 있었다고 인정함.
하필 Meta의 AI에 전체 디스크 접근을 허용하고는 정말 ‘전체’였다고 놀라는 셈임. 숨길 것도 없고, 기업이 데이터를 팔지도 않으며, 해커도 없는 완벽한 세상이라면 나도 모든 데이터를 Muse에 맡기고 믿을 만한 비서로 쓰고 싶음. 이미 그렇게 하는 사람들은 우리가 그런 세상에 산다고 믿는 모양임.

Muse가 Facebook Marketplace에서 물건을 지나치게 싸게 팔았다는데, 왜 최저 판매가를 사용자가 명시적으로 설정하게 하지 않고 LLM의 ‘추론’에 가격 협상을 의존하는 건가?

적절한 최저가를 정하는 데도 인지적 노력이 필요함. 도구를 쓰는 이유는 바로 그 노력을 줄이기 위해서임.

그러려면 생각해야 하는데, 다들 LLM에 외주를 주고 싶어 하는 게 바로 생각하는 일인 듯함.

최저 판매가를 정하는 것부터 조사와 판단이 필요하기 때문일 것임.

돈을 준대도 이런 제품은 쓰고 싶지 않음. 월 1,000달러를 준다고 해도 몇 가지 조건 없이는 설득되지 않을 것임.
기기의 root 권한을 내가 갖고, 별도 VLAN으로 완전히 격리하며, SIM과 5G 안테나가 없어야 함. Google·Apple 계정에도 로그인하지 않아야 하고, 언제든 비용 없이 계약을 종료할 수 있어야 함. 이 밖에도 고려해야 하는데 놓쳤거나 모르는 조건이 열 가지는 더 있을 것 같음.

지금까지 본 Muse 광고에는 Meta가 전혀 등장하지 않는다는 것이 흥미로움.

meta.com에서도 주력 제품이자 수익원인 Facebook이나 Instagram은 눈에 띄는 곳 어디에도 보이지 않음. 자사 브랜드의 이미지가 해롭다는 걸 회사도 아는 것임.

모든 소셜 미디어·AI 기업은 동시에 감시 기업임. Meta와 Google의 온갖 소프트웨어 ‘제품’에서 모아 합친 막대한 행동 데이터 없이는 맞춤형 광고가 작동하지 않음.