Fedora 및 기타 환경에서 폭주하는 AI 에이전트

LWN.net에 오신 것을 환영합니다

에이전트형 AI (Agentic AI) 시스템은 인간 사용자를 대신하여 버그를 열거나 관리하고, 코드를 생성하며, 풀 리퀘스트 (pull-requests)를 제출하고, (보아하니) 거절에 대해 불평하는 등 다양한 작업을 자율적으로 수행할 수 있습니다. 지난 5월, 한 Fedora 개발자는 소위 '폭주하는' 에이전트가 여러 방식으로 프로젝트를 괴롭혀 왔다는 사실을 발견했습니다. 이 에이전트는 버그를 재할당하고, 버그에 대해 도움이 되지 않는 답변을 조작하며, 심지어 유지 관리자(maintainer)를 설득하여 의심스러운 코드를 Anaconda 설치 프로그램에 병합하도록 유도했습니다. 또한 이 에이전트는 여러 업스트림 (upstream) 프로젝트에 다수의 풀 리퀘스트 (PR)를 제출했으며, 그중 일부는 수락되기도 했습니다. 해당 에이전트와 연결된 Fedora 계정은 그룹 권한이 박탈되었고 혼란은 정리되었으나, 에이전트의 행동 뒤에 숨겨진 동기는 여전히 미스터리로 남아 있습니다.

"다소 불규칙한"

5월 27일, Adam Williamson은 Nathan Giovannini의 제어 하에 있는 것으로 보이는 감독되지 않은 에이전트형 AI (agentic AI) 시스템에 관한 메시지를 Nathan Giovannini에게 보내면서 Fedora의 개발 및 테스트 메일링 리스트를 참조(CC)했습니다. "문제를 해결하려고 노력하는 것은 좋지만, 결과가 다소 불규칙해 보입니다."

Williamson은 Bugzilla에서 Giovannini의 활동 기록을 여전히 검토 중이지만, 이미 여러 문제를 발견했다고 말했습니다. 예를 들어, Williamson은 Giovannini의 에이전트가 업스트림 프로젝트에 관련이 있다고 주장되는 풀 리퀘스트 (pull requests)를 제출한 후 Bugzilla 항목을 자신의 계정으로 할당하거나, 업스트림 프로젝트에 PR이 병합된 후 버그를 종료하는 사례를 수십 건 발견했습니다. 어떤 경우에는 에이전트가 원래의 버그를 그대로 다시 말하거나, Williamson이 해당 코멘트에 대해 "표면적으로는 그럴듯하지만 다른 면에서 문제가 있는"이라고 표현한 코멘트와 함께 단순히 버그를 종료하기도 했습니다.

또한, Williamson은 Giovannini(또는 그의 에이전트)가 잘못된 패치(patches)를 제출한 다음, "LLM(대규모 언어 모델)으로 생성된 정당화 사유로 반대 의견에 대응하여 결국 유지 관리자가 수정을 병합하도록 압도해 버렸다"고 말했습니다.

GitHub 사용자 "nathan9513-aps"인 해당 에이전트는 Fedora 및 기타 Linux 배포판에서 사용되는 Anaconda 설치 프로그램을 위한 풀 리퀘스트 (Pull Request, PR)를 제출했습니다. PR의 설명에는 이것이 설치 실패를 유발하는 Anaconda 버그에 대한 수정이라고 주장했지만, 실제 패치(patch)는 실제 버그와는 아무런 관련이 없어 보이는 커맨드 라인 (command line)에서 전달된 커널 옵션을 그대로 유지했습니다.

해당 에이전트의 GitHub 계정은 이후 비활성화되었습니다. 현재 GitHub의 대화에서는 삭제된 사용자 계정에 대한 플랫폼의 기본 플레이스홀더(placeholder)인 "ghost"로 표시됩니다. 따라서 이 에이전트가 GitHub에서 수행한 모든 작업의 전체 흔적을 파악하는 것은 불가능하지는 않더라도 매우 어렵습니다.

Williamson은 에이전트의 행동이 "Fedora나 업스트림 (upstream) 프로젝트에 긍정적인 영향을 미치고 있지는 않다"라고 상당히 외교적으로 표현했으며, Giovannini에게 에이전트의 자율성을 "실질적으로 훨씬 낮게" 조정할 것을 제안했습니다. 그는 특히 에이전트가 인간의 검토 없이 Giovannini에게 버그를 할당하거나, 상태를 변경하거나, "확신에 찬 주장 또는 구체적인 작업 권장 사항을 게시"하지 말 것을 요청했습니다.

해킹되었나?

이후 5월 27일, Williamson은 Giovannini가 자신에게 개인적으로 답장을 보내 자신의 자격 증명 (credentials)이 침해되었으며, AI 시스템의 배후에 있는 사람이 자신이 아니라고 말했다고 밝혔습니다. Williamson은 "따라서 당연히 에이전트가 취한 모든 조치를 의심스럽게 다루어야 한다"라고 말했습니다. 그는 Giovannini의 계정이 건드린 버그들을 "훨씬 더 공격적으로" 검토할 계획이라고 밝혔으며, 다른 사람들에게도 검토를 도와달라고 요청했습니다.

같은 날 이후, 표면적으로는 Giovannini로부터 온 것으로 보이는 답장에서 그는 GitHub 및 Fedora 계정에 대한 액세스 권한을 다시 얻을 수 있었으며 "현재 관련된 모든 시스템과 자격 증명을 보안 조치하고 검토하고 있다"라고 밝혔습니다.

. 그는 자신의 GitHub 계정이 "nathangiovannini99"라고 밝혔습니다. Williamson은 해당 GitHub 계정이 생성된 지 불과 한 시간밖에 되지 않았으며, 최근 리스트에 발송된 이메일과 Williamson에게 개인적으로 보낸 이메일들은 Giovannini가 이전 프로젝트 상호작용에서 보냈던 메시지들과는 달라 보인다고 답했습니다.

Giovannini는 적어도 2018년까지 거슬러 올라가는 토론에 참여해 왔으며, Bugzilla에서의 활동은 적어도 2016년까지 거슬러 올라갑니다. 그는 프로젝트에 특별히 활발한 기여자였던 것으로 보이지는 않지만, 그의 참여는 분명히 에이전트형 AI (agentic AI) 시대 이전부터 시작되었습니다. 그의 계정이 현재 인간 공격자, 에이전트형 AI (agentic AI), 또는 두 가지가 혼합된 형태에 의해 운영되고 있든 간에, 최근의 활동 이전에는 정당한 이력이 존재합니다.

Williamson은 올해 "nathan95"라는 계정의 Bugzilla 활동을 검토했으며, 4월 7일부터 버그 2416721에서 정당한 이유 없이 버그의 심각도(severity)와 우선순위(priority)를 변경하는 것과 같은 의심스러운 활동을 발견했다고 말했습니다. 그는 그 이전의 활동은 정당해 보였으며, 지금까지 확인된 활동 중 명백히 악의적인 것은 없었다고 덧붙였습니다.

그는 또한 "leurus27-boop"라는 또 다른 GitHub 계정이 동일한 에이전트형 AI (agentic AI)와 연관되어 있을 가능성이 높다고 식별했습니다. 해당 계정은 여전히 활성 상태이며, Open Build Service를 위한 openSUSE Commander (osc) 명령줄 인터페이스(CLI)에 PR(Pull Request)을 제출했을 뿐만 아니라 lxqt-policykit 저장소에도 PR을 제출했습니다. 해당 프로젝트는 사용자 및 그룹 구성과 같은 운영 체제 설정을 관리하기 위한 LXQt 데스크톱의 lxqt-admin GUI 도구의 권한을 확장하는 데 사용됩니다.

Williamson은 관련 계정들의 다른 모든 작업 내용을 살펴보고, 다른 프로젝트들에게 해당 계정들이 제출한 모든 내용을 검토해야 한다고 경고하는 것이 좋겠다고 말했습니다. Williamson은 다른 유지 관리자들에게 "상황 전체가 매우 수상하다"라고 경고하기 위해 각 PR을 후속 조치한 것으로 보입니다.

Kevin Fenzi는 해당 nathan95 사용자를 그가 속해 있던 모든 그룹에서 제거했으므로, 더 이상 버그를 재할당하거나 종료할 수 있는 권한을 갖지 않을 것이라고 말했습니다.

공격 전 단계(Pre-attack)?

Anaconda 팀의 구성원인 Martin Kolman은 이번 사건이 악의적이지 않더라도 "정말 문제가 많다"라고 말했습니다. 팀은 열정적인 기여자처럼 보이는 인물의 PR (Pull Request)을 검토하는 데 많은 시간을 소비했습니다. "시간이 지나면서 상황이 이상해 보이기 시작했지만, 모든 답변은 여전히 이와 같았습니다. 약간 이상하긴 했지만, 여전히 그럴듯했습니다."

그는 또한 이것이 XZ 백도어(backdoor) 사례와 매우 유사하게, 악의적인 활동을 위해 단계를 밟아가는 공격자의 행위일 수 있다는 이론을 제시했습니다.

불행히도, 실제 공격을 위한 준비 단계는 (XZ 공격의 경우처럼) 매우 유사해 보일 수 있습니다. 즉, 새로운 기여자가 커뮤니티에서 서서히 신뢰를 얻고, 무해한 변경 사항들을 반영하며, 공격 페이로드(payload)를 주입할 수 있는 지점(또는 변경 사항들이 적절한 방식으로 결합될 경우 더 이상 무해하지 않게 되는 지점)까지 도달하는 과정입니다.

따라서 이것이 바로 그 사건이라고 단정 짓는 것은 아니지만, AI 에이전트가 자동화하여 시도하는 XZ와 유사한 침해 시도는 우리가 방금 목격한 것과 매우 흡사할 수 있습니다.

Chris Adams는 Anaconda에 반영된 커밋을 조사해야 하며 아마도 즉시 되돌려야(revert) 한다고 말했습니다. Kolman은 이미 되돌려졌다고 답했습니다. 그는 또한 LLM (Large Language Model)이 생성한 PR들이 5월 26일 Anaconda 45.5 릴리스에 포함되었음을 확인했습니다. 해당 사항들은 6월 2일 Anaconda 45.6 릴리스에서 되돌려졌습니다.

공격 대상들을 살펴보면 이것이 어떤 종류의 공격을 위한 전조였을 가능성을 강력히 시사합니다. 운영 체제 설치 프로그램, 사용자 권한 상승을 위한 유틸리티, 그리고 빌드 시스템(build system)과 상호작용하는 도구는 모두 멀웨어를 삽입하거나 시스템을 하이재킹(hijacking)하기 위한 유망한 경로로 보입니다.

AI 에이전트로 보이는 존재가 인간 기여자의 계정에 접근한 후 이토록 큰 성공을 거두었다는 사실은 당혹스럽습니다. 프로젝트와 상호작용한 정당한 이력이 있는 계정에 접근 권한을 가진 AI 에이전트는, 바쁜 메인테이너(maintainer)들이 의심스러운 기여를 수락하도록 설득할 가능성이 매우 높아 보입니다. 다행히 Williamson이 이것이 더 큰 문제가 되기 전에 포착했습니다. 다른 인간 메인테이너들도 이만큼 주의 깊기를 바랍니다.