제목이 별로임. 이건 에이전트가 “폭주”한 게 아니라, 에이전트로 신뢰를 쌓고 알려진 정상 기여자 신원을 해킹/사칭해서 Xz식 공격을 수행하려는 초기 실험에 가까움
에이전트는 받은 명령을 따르고 있으니 폭주의 정반대이며, 실행이 아주 효과적이진 않아도 패치가 받아들여지는 등 어느 정도 성공하고 있음
정말 무서운 점은 “에이전트가 폭주한다”가 아니라, 우리 인프라 상당수가 이런 공격에 취약하고 악의적인 사람들이 LLM 에이전트로 이를 실행하기 시작하면 앞으로 몇 년이 꽤 험난해질 거라는 점임

“에이전트로 신뢰를 쌓아 Xz 공격을 수행한다”는 게 확인된 건가? 원래 기여자라고 주장하며 해킹당했다고 말한 메시지는 있지만, 1시간 전에 만들어진 GitHub 계정이라 이상했고 다른 가능성도 있어 보임
실제로 에이전트가 선을 넘었거나, 기여자가 에이전트를 방치했다가 사고가 나자 덮으려다 더 실수했을 수도 있음
공격처럼 보이긴 하지만 실제로 무슨 일이 있었는지는 아직 명확하지 않음

그래도 프로젝트 안에서 에이전트가 폭주한 건 맞지 않나?
폭주하라고 지시받았든 스스로 그랬든 별 차이는 없음. 다만 각 제출과 상호작용이 운영자에게 개별적으로 요청되고 승인됐다고 주장한다면 예외일 수 있음

그렇게 복잡하거나 동기가 뚜렷하거나 깊이 고려된 일인지는 의심스러움. 그냥 흔한 무례한 행동일 가능성이 큼
목적 없는 에이전트 스팸이 영원히 값싼 놀이로 남진 않겠지만, 산업화된 남용의 후반 단계는 무섭고 불쾌할 거라는 점에는 동의함

정말 무서운 건 이 부분임. 설령 몇 달 안에 기술적 사이버 방어를 강화하더라도, 1년 뒤 모델은 사회공학을 너무 잘해서 원하는 정보를 무엇이든 빼낼 수 있을 것 같음

그냥 사회공학일 뿐임. 예를 들어 2단계 인증 피로 공격처럼 휴대폰에 “본인이 맞나요? 예/아니오” 알림을 계속 보내다 사용자나 가족이 예를 누르게 하거나, IT 헬프데스크를 괴롭혀 “내” 비밀번호를 재설정하게 하는 것과 다르지 않음

“LLM이 생성한 정당화로 반박을 계속해 결국 관리자를 지치게 만들고 수정사항을 병합하게 했다”는 대목이 있음
내가 참여하는 오픈소스 프로젝트에서는 관리자를 압도하려 들면 차단됨. 패치를 맹목적으로 병합해 주지는 않음. 이 이야기에서 가장 충격적인 부분 중 하나가 바로 그 점임

새 관리자로서 묻고 싶은데, 언제 누군가를 차단하기로 결정함? 가끔 압도당하는 느낌이 들고, 거대한 PR과 긴 LLM 작성 설명이 크게 늘어난 것도 체감하지만, 커뮤니티에 나쁜 사람처럼 굴며 변경을 전부 거절하고 싶지도 않음

여기서 상상하는 “압도”와 글에서 묘사하려던 의미는 꽤 다를 수 있음

최악의 부분은 이거임
“게다가 Williamson은 Giovannini 또는 그의 에이전트가 잘못된 패치를 제출한 뒤, 반대 의견에 대해 LLM이 생성한 정당화로 답했고, 결국 관리자를 압도해 수정사항을 병합하게 만들었다고 말했다”

제발 마음에 들지 않는 PR을 귀찮게 군다고 받아들이지 말았으면 함. xz 공격 이후로 우리 컴퓨터들의 보안은 관리자가 이런 것을 들여보내지 않는 데 달려 있음
누군가 당신이 만든 프로젝트에 어떤 기능을 정말 원하지만 당신은 그 기능에 관심이 없다면, 그냥 포크하게 두면 됨. 괜찮음

예전에 AI의 가장 큰 “위험”은 에이전트가 매우 설득력 있어지는 데서 온다는 예측을 봤음. 이번 경우에는 관리자를 설득해 변경을 병합하게 만든 셈임. 기본적으로 강화된 사회공학임

리뷰어의 회의심은 유한한 예산임. “아직 납득이 안 된다” 한 번마다 에너지가 들지만, 에이전트의 반박에는 비용이 없어서 결국 논리의 질이 아니라 지구력 싸움이 됨
바로 그 이유로 모델이 쓴 PR을 논리로 이기려는 시도를 그만뒀음. 안정적인 답은 절차였음. 처음부터 왕복 횟수를 제한하고, 그 뒤에는 스레드를 닫는 것. 지치지 않는 무언가를 논쟁으로 이기려는 건 지는 게임

처음엔 “네 에이전트 줄 세워서 얌전히 굴게 해라!” 같은 가벼운 농담을 하려 했는데, 읽을수록 꽤 무서운 상황이 됐음
잠재적인 공급망 공격은 제쳐두더라도, 감독 없는 AI 에이전트가 받는 쪽 사람들을 헛수고에 빠뜨리며 낭비하게 만드는 시간이 걱정됨
관리자가 이런 것을 진지하게 받아들이면 그쪽 시간도 크게 날아가고, 보통 실제로 그렇게 하는 듯함. 그런데 에이전트를 부리는 쪽은 다른 사람을 이렇게 대하는 걸 어떻게 괜찮다고 여길 수 있는지 모르겠음
해결책은 기본적인 예의를 지키는 것, 즉 “네가 이걸 쓰는 데 노력을 들였으니 나도 읽는 데 노력하겠다”는 검증된 방식이겠지만, 이런 드라이브바이 기여가 쏟아지면 결국 공개 포럼에서 에이전트끼리 서로 대화하는 우스운 상황으로 이어질 것 같음
어쨌든 옆길로 샜지만, 우리가 사는 시대는 최근의 거친 시기들보다도 좀 더 거칠어 보임

이쯤 되면 에이전트를 이렇게 풀어놓는 건 공공장소에서 개 목줄을 안 하는 것과 비슷함. 정확한 선을 긋긴 쉽지 않지만, 이런 일을 하면 실질적인 처벌이 필요할 듯함

해킹당했다고 주장하는 수상한 메시지 [1]에서 사용자 또는 에이전트가 이렇게 말함
“내가 직접 확인한 계정과 행동을 식별할 수 있도록, 내가 개인적으로 확인한 모든 것에는 ‘NATCIOS’라는 용어를 쓰겠다”
여기서 NATCIOS가 무슨 뜻인지 아는 사람 있음? 인터넷 어디에서도 이 용어를 찾을 수 없음. 솔직히 저 문장 자체가 정말 이상해서, 누군가 건강상 문제를 겪는 중인가 싶을 정도임
[1] https://lwn.net/ml/all/AS8PR08MB6055AE3054B34F6A567AC95BCF08...

그 메시지에 대한 답장을 보면, 이메일 문체가 이전에 그가 보낸 이메일과 다르고, 언급된 GitHub 계정도 이메일 발송 1시간 전에 만들어졌다고 함. 아직도 LLM이 작성 중일 가능성이 어느 정도 있어 보이고, 그 약어도 그냥 만들어낸 것일 수 있음

AI 에이전트가 여기저기 자연스럽게 NATCIOS를 끼워 넣지 못하게 막는 건 뭐가 있음?

매일 gpg 신뢰망이 더 좋아 보임. 지난 20년 동안 사용자 측 암호화와 서명을 허용하는 일만은 최대한 피하려고 애쓰지 않았다면 좋았을 텐데

허용은 아주 잘 되고 있음. 다만 비기술 사용자에게 키 관리가 엄청난 골칫거리일 뿐임. Debian은 개발자 인증에 이를 사용함

에이전트가 키를 얻는 걸 막는 것도 딱히 없음

원래의 노력에도 정말 다루기 어려운 행동들이 끌려왔고, 몇 년 안에 그 안에 손대기 힘든 부패가 생겼지만 새로 들어온 사람으로서는 감지하기 어려웠던 것 아닌가?
잘 아는 정보가 있으면 환영함. 정말 안다고 주장하는 건 아님

제목이 핵심을 묻어버림. 에이전트가 작동한 계정의 소유자는 자신의 계정이 침해됐을 가능성이 높다고 했고, 조사 중인 관리자도 실제로 그럴 가능성이 높다고 보는 듯함

나쁜 패치가 나쁜 건 당연하지만, 이미 여유가 없는 관리자에게 자신감 있어 보이는 잡음을 만들어내는 건 정말 좋지 않음
이슈 추적기와 PR은 점점 더 신뢰하기 어려워지고 있음. 다만 AI가 오픈소스에 많이 도움이 되는 것도 사실이라, 출처, 자동화된 이슈 행동, 기여자 행동의 갑작스러운 변화에 대한 가드레일이 분명 필요함

“5월 27일 이후 Williamson은 Giovannini가 개인적으로 답해 자신의 자격 증명이 침해됐고, AI 시스템 뒤에 있는 사람이 자신이 아니라고 말했다고 했다”
그렇다면 간단함. 모든 변경을 애초에 없었던 것처럼 되돌리면 되지 않나?

머릿속에서 여러 번 왔다 갔다 했음. Fedora를 정말 좋아하고 그 OS에서 가장 편하지만, 이런 지속적인 공급망 침해는 잠을 설치게 만듦
같은 커뮤니티 규모와 빌드 시스템 등을 갖춘 Fedora LTS가 있었으면 좋겠음. 그런 점들과 투명성이 정말 마음에 들기 때문임
어떤 OS든 우려가 있다는 건 알고 있고 관련 통찰이나 논의도 환영하지만, 릴리스 사이 체류 시간과 내 시스템에 도달하는 시간 사이의 균형, 그리고 충분한 가시성과 사용량 덕분에 무언가 잡힐 가능성을 고려하면, 지루한 Ubuntu LTS 인스턴스를 쓰는 쪽이 조금 더 마음 편함
물론 이번 건 시스템 패키지가 아니라 설치 프로그램이었다는 것도 알고 있음