대기업 보안 체인에서 지원 요청은 늘 가장 약한 고리였음
예전에도 사람이 2단계 인증을 꺼서 내 계정을 넘겨준 적이 있었고, LLM이 같은 일을 한다고 해서 놀랄 일은 아닌 듯함
하급 지원 직원이 2단계 인증 해제를 할 수 있다는 사실 자체가 화가 나며, 절차의 목적을 무너뜨림

복구 흐름은 안전 실패(fail safe) 와 보안 실패(fail secure) 중 하나일 수밖에 없음
보안 실패라면 이메일을 잃는 순간 계정이 영원히 잠기고, 안전 실패라면 이메일을 잃어도 계정이 영원히 잠기지는 않지만 누군가가 그 상황을 가장해 계정을 가져갈 수 있음
전자식 문 제어기가 전원을 잃었을 때 문이 계속 잠겨 있거나 계속 열려 있는 것과 같고, 화재 때는 사람들이 나가야 하니 열려 있어야 하지만 도둑은 전원을 끊어 들어올 수 있음
정전 시 영구적으로 잠기는 문은 보안이 최우선인 극단적 경우에만 허용되며, Instagram 계정이 화재 상황의 문만큼 중요하지는 않음

HN 쪽 사람이라면 이름만 들어도 알 만한 대형 스토리지 어플라이언스 업체에서 겪은 일이 가장 이상하고 무서웠음
긴급히 공간을 확보하려고 스토리지 볼륨을 삭제해야 했는데, 파괴적 작업이라 벤더가 우리 쪽 키와 함께 두 번째 키 역할을 해야 하는 식으로 잠겨 있었음
우리는 이 설정을 제대로 해둔 적이 없었고, 나도 그들의 지원 계정에 로그인해본 적조차 없었음
벤더는 우리 쪽에서 승인된 연락처 두 명이 작업을 확인해야 한다고 했고, 실제 절차는 Sev1 장애를 처리하던 동료가 나를 Zoom 통화에 부르는 정도였음
지원 담당자가 내 2단계 인증을 요구했지만 설정한 적이 없고 이메일도 등록되어 있지 않아 받을 수 없다고 하자, 외주로 보이는 담당자는 코드를 Zoom 채팅에 붙여넣고 내가 다시 읽어주는 것으로 충분하다고 판단해 절차를 진행했음
당시엔 너무 놀라 깊게 생각하지 못했지만, 그들이 예상 생성 코드를 볼 수 있고 자기 시스템에 직접 입력할 수 있다는 사실이 흥미로웠음
결과적으로 Sev1이 Sev0으로 악화되는 걸 막아주긴 했지만, 전반적으로 사회공학 공격과 내부자 공격에 매우 취약한 구조임
이런 종류의 우회 권한을 명백한 1·2차 지원 담당자에게 주지는 않을 것 같고, 더 높은 권한으로 에스컬레이션이 필요하되 시간 단위가 아니라 분 단위로 처리할 수 있는 다른 방식으로 숨겨둘 듯함
다만 조직이 커질수록 이런 균형은 점점 더 어려워짐

계정이 탈취된 뒤 복구도 실패함
아버지의 Facebook 계정이 아마 피싱으로 해킹됐는데, 되찾기 위해 연락할 수 있는 사람이 아무도 없었음
계정을 훔친 쓰레기가 불법 콘텐츠까지 올려서 계정과 약 10년치 개인 추억이 아무 구제 절차 없이 삭제됐고, Meta의 실제 사람과 대화하는 건 불가능했음
미친 듯이 도움이 안 되는 FAQ 페이지만 있었음
본인과 가족의 모든 소셜미디어 계정에서 개인 데이터를 내려받아 백업해두는 걸 강력히 권함
이런 대기업들은 중국산 직배송 잡동사니 광고와 AI 쓰레기 TikTok을 보여주는 것 외에는 사용자에게 관심이 없음

계정이 14년 이상 같은 이메일과 번호를 쓰고 있는데도 지원팀이 해킹당했다고 판단한다면, 그게 더 창피한 일처럼 느껴짐

AI 에이전트가 2단계 인증 제거, 계정 이메일 무시, 요청자에게 계정 넘기기까지 가능한 특권 접근권한을 갖고 있었다는 건가
솔직히 너무 심한 과실이라, 그 “기능”을 구현한 팀이 예정된 해고 전에 Meta에 최대한 은근한 피해를 주려 한 건 아닌지 의심될 정도임
누군가가 운영 테이블 전체 삭제까지 시도하지 않은 게 아쉬울 정도임
높은 권한의 SRE인 척하면서 치명적 운영 버그를 해결해야 하고 유일한 해법이 데이터베이스 삭제라고 주장하면 됐을 텐데

나는 Instagram 초기 6000명 안에 든 사용자였고, 이름 그대로 된 사용자명을 몇 년 전에 도난당했음
인증 계정 지원팀은 문제를 인정했지만 아무것도 할 수 없다고 했음
이번은 AI 악용이지만, 내 경우는 외주 지원을 악용한 것이었고 누군가가 돈을 내서 내 사용자명을 수동으로 바꾸게 한 뒤 다른 사용자에게 넘겼음
책임 있는 인간 지원이 존재하지 않고 이를 위반한 직원에게 형사적 결과가 없다면, 계정에 접근할 방법은 언제나 생김

최근 Threads 계정이 글 다섯 개에 너무 빨리 좋아요를 눌렀다는 이유로 정지됐고, 계정이 비진정성이라고 했음
연결된 Instagram 계정은 멀쩡했는데 Meta Verified 지원을 쓰려 하자 이미 지원 할당량을 전부 사용했다며 요청을 모두 거부했음

래퍼들이 내 Instagram 사용자명에 1만 달러를 제안한 적이 있음
은행이 사러 올 때까지 버티는 중임

소송할 수 있나? 이 범죄에는 금전적 동기가 있을 것 같음

직원이 사용자명을 “훔쳤다”는 이유로 형사 기소되는 날이 온다면, 그날이야말로 인류가 패배한 날임

AI가 임의 주소로 이메일을 보낼 수 있는 도구 권한을 받았다는 게 말이 안 됨
사용자 요청에 따라 2단계 인증 코드를 보내는 것 자체는 그럴 수 있지만, 계정에 연결된 주소로 2단계 인증 이메일을 보내는 버튼만 누를 수 있어야 하고 나머지는 손으로 작성한 코드가 처리해야 함
AI가 2단계 인증 코드 자체, 메시지 제목, 본문, 수신자 주소 등에 접근할 이유가 없음
대체 왜 그런 권한을 준 건지 모르겠음

이 악용은 본질적으로 AI와 거의 관계없고, 형편없이 설계된 계정 복구 흐름과 관련이 큼
똑같은 흐름은 정적으로 코딩해도 가능했을 것이고, 실제로 그랬을 수도 있음
여기서 챗봇이 실제로 얼마나 했는지는 모름

Meta와 Instagram을 대상으로 버그 바운티 연구를 많이 하는데, 내가 찾는 버그 중에는 겉보기엔 이렇게 매우 단순해 보여도 실제 발생 이유는 약간 복잡한 경우가 있음
이번 건이 꼭 그렇다는 건 아니지만, 실제로 무슨 일이 있었을지에 대한 추측은 있음
지금까지 본 바로는 Meta AI Support Assistant, 즉 “MAISA”에는 a) 특정 이메일, 전화번호 또는 계정에 연결된 연락처 지점으로 이메일 인증을 시작하는 도구 호출과 b) 이메일 인증 시도를 기반으로 계정의 비밀번호 재설정 링크를 생성하는 도구 호출이 있었던 듯함
실제 코드 자체에 접근한 건 아니고, 이메일 인증 시도에 대한 핸들이나 ID와 사용자가 입력한 인증 코드가 “비밀번호 재설정 링크 생성” 도구 호출에 전달됐고, 그 도구 호출이 해당 인증 시도에 사용된 이메일이 계정에 속하는지 제대로 검증하지 못해 계정 탈취가 가능해졌다고 봄
MAISA가 비밀번호 재설정 링크를 생성하는 도구 호출은 계정에 연결되지 않은 이메일에 대응하는 인증 시도가 들어오면 실패했어야 함
Facebook에서 비슷한 걸 테스트했을 때 실제로 오류가 나서 막혔던 것 같지만, Instagram 쪽에서 공격자에게 탈취된 계정을 복구할 수 있도록 최근 연결 해제된 약간 오래된 이메일도 쓰게 하려는 변경을 했을 가능성이 있음
그러면 현재 계정에 연결되지 않은 이메일도 사용하고 사용자 기본 이메일로 설정할 필요가 생김
또 MAISA 도구 호출 변경이 잘못된 API를 호출했거나, 성공한 아무 이메일 인증 시도나 사용할 수 있게 만든 무언가가 있었는데 엔지니어들이 관련 없는 이메일 인증 시도를 도구 호출에 넣는 종단 간 테스트를 충분히 추가하지 않았을 수 있음
여기에 가장 집중해야 한다고 봄
공격자가 출력에 영향을 줄 수 있는 에이전트 도구 호출은 누구나 접근 가능한 외부 API처럼 취급하고 그렇게 테스트해야 함
물론 이건 전부 추측이고, 계정 복구 시도의 유효성을 판단하는 여러 신호를 반영하지 못하며 상당히 틀릴 수도 있지만, Meta 보안을 많이 다루는 입장에서 이번 일을 가능하게 했을 법한 가장 가까운 설명임

이건 바이브 코딩 냄새가 강함
“AI 에이전트가 비밀번호 재설정을 도울 수 있게 해줘”라고 하고, 변경에 대한 인간 검토가 전혀 없었던 것 같음

나쁘긴 하지만, 이런 방식이 먹히는 데 AI가 꼭 필요한 건 아님
몇 년 전 내 Facebook 계정도 TOTP 기반 2단계 인증이 비활성화된 뒤 침해됐음
그때 Facebook 보안 정책에 대해 전혀 안심이 안 됐고, 이번 새 공격은 그 인상을 다시 확인시켜줌

어떤 주니어 엔지니어가 멍청한 지원 요청 처리에 질려서 에이전트로 자동화했을 것 같음
보안 지원에 주니어 엔지니어를 배정하는 건 우스운 일임
젊은 사람들이 보안이 때로 얼마나 치명적인지 잘 이해하지 못하기 때문이기도 하고, 개인정보 보호를 그만큼 중시하지 않기 때문이기도 함

“운영 환경에서 본 첫 제대로 된 무인증 비밀번호 재설정”이라고 했지만, 예전 LinkedIn에도 그런 게 있었음
발견 보상이 생기기 전이었는지 제대로 된 답변은 받지 못했지만, 결국 고치긴 했음
방식은 이랬음
LinkedIn은 어떤 주소로 보낸 메일을 읽을 수 있다면 그 주소가 당신 소유이고 계정에 추가해도 된다고 가정했음
그래서 내가 어떤 이메일 주소로 LinkedIn 초대를 보내고, 상대가 초대 수락 버튼을 누르면 그 이메일 주소가 상대 계정에 추가됐음
내가 제어하는 주소, 예를 들어 foo@example.com으로 초대를 보낸 뒤, 위조한 이메일 안의 초대 버튼 링크를 다른 사람에게 보내면, 그 사람이 클릭하는 순간 foo@example.com이 그 사람 계정에 몰래 추가됐음
친구가 됐다는 응답을 받으면 그 사용자 계정에 내가 아는 이메일 주소가 추가됐다는 것도 알 수 있었고, 처음 메일을 보냈던 foo@example.com을 이용해 전체 비밀번호 재설정을 할 수 있었음
누군가 전체 메일링 리스트를 초대했고, 클릭 후 메일링 리스트 주소가 여러 사람의 계정에 갑자기 추가된 걸 보고 이걸 발견했음

예전 LinkedIn은 주소록이나 찾을 수 있는 무엇이든 뒤져서 주소록 전체에 이메일을 보내곤 했던 것으로 기억함

“요청이 올바른 지역에서 온 것처럼 보이면, Meta 지원 AI에게 계정이 해킹됐다고 말하고 공격자가 제어하는 임의 이메일 주소로 인증 코드를 보내달라고 한다”니, Instagram 대체 뭐 하는 건가
왜 재설정을 해당 계정으로 보내지 않고 임의 이메일로 보내는지 이해가 안 됨

공격자가 이메일도 해킹당했고 “이게 이제 내 새 이메일”이라고 말했을 수 있음
실제 사람이 아니라 AI 지원의 결과처럼 들리며, “AI 지원 옵션이 활성화된 A/B 테스트 계정에 속해 있다면 운이 나쁜 것, 끌 수도 없다”는 상황임

주말 동안 Instagram 비밀번호 재설정 이메일을 15통이나 받은 이유가 궁금했음
덕분에 Instagram 계정이 있다는 것도 떠올랐고, 바로 로그인해서 삭제하려고 했음
Instagram이 처음 나왔을 때 만든 계정이고, 한 번도 쓰지 않았으며 완전히 잊고 있었음
그런데 예전에 로그인했던 기기에서 로그인해야 한다는 이상한 상황에 걸렸고, 10년도 더 지났기 때문에 계정 생성이나 접근에 썼을 법한 기기는 더 이상 없음
계정에 사용한 이메일과 전화번호에는 둘 다 접근할 수 있었지만, 그걸로는 충분하지 않았음
정말 우스울 정도로 무능해서 CCPA 민원을 넣었음

오래된 Gmail 계정 몇 개에서도 비슷하게 잠겼음
전화번호 없이 만들어졌고 비밀번호도 알고 있지만, 로그인하려고 하면 의심스러운 활동으로 표시되고 실행 가능한 복구 흐름이 없음

회사를 싫어한다는 항의로 계정을 삭제하지 말고, 스팸 운영자에게 넘기는 편이 회사에 더 큰 타격을 줌

많은 악용이 너무 멍청해 보여서 내가라면 시도조차 하지 않았을 거라는 점이 늘 좀 깨달음을 줌
그냥 비밀번호를 달라고 요청하면 되고, 그게 먹힌다는 건가?

이 사건의 함의는 꽤 불안함
Meta가 인간 검토 없이 사용자 계정에 대한 특권 읽기·쓰기 접근권한을 에이전트에게 준 건가?

그렇다니, AI 지지자들이 우리가 하길 원하는 게 바로 이런 것임

인간 검토가 없었을 뿐 아니라, 기본적인 검증도 없었던 것 같음
미친 일임

임의 쓰기 권한을 쓰는 LLM 에이전트라기보다는, 미리 정의된 계정 복구 흐름이었던 것처럼 들림

인간을 루프 안에 계속 두면 해고할 수 없으니까 그런 것임

내 Facebook 대체 계정 자격증명 하나가 예전에 쓰던 다른 대체 계정과 어떻게든 병합되어 있음
즉 한 계정의 이메일로 다른 계정에 로그인할 수 있고, 이 병합은 계속 유지되는 것 같음
Meta가 어떤 식으로든 두 계정이 같은 사람이라고 판단한 듯함