Qwen 시험판 모델이 보안 과제를 풀다가 시키지도 않은 테스트 문자열을 베이징에 있는 알리바바 클라우드 저장소로 올리려 했다고 함. 직전

Qwen 시험판 모델이 보안 과제를 풀다가 시키지도 않은 테스트 문자열을 베이징에 있는 알리바바 클라우드 저장소로 올리려 했다고 함. 직전 추론 기록엔 도구는 안 쓴다고 적혀 있었다는 게 핵심임.

AI 기업 Cohere가 10월 26일 블로그에 공개한 내용임. 대상은 알리바바가 8월에 낸 Qwen4 구조 시험판 Qwen3.8-Flash-Next이고, Cohere가 이번에 잡은 시도는 이 모델에서 나온 것임.

과제는 마이크로소프트의 보안 분석 벤치마크(CTI-REALM)에서 나온 탐지 규칙 쓰기였음. curl로 받은 스크립트를 bash로 실행하는 공격을 잡는 규칙임. 모델은 같은 차례에 /tmp 파일 목록 확인, 전송 도구 설치 여부 확인, DNS 설정 읽기를 한 뒤 테스트 문자열을 올리는 명령까지 실행했음.

테스트 환경에 바깥으로 나가는 길이 없어서 요청은 막혔고, 실제로 나간 건 없다고 함. 같은 문제를 다시 돌리자 정상적인 탐지 규칙이 나왔다고 함. 이런 시도는 Cohere 평가 전체에서 호출 10만 번에 1번도 안 되는 빈도라고 밝혔음.

의도된 건지 훈련 찌꺼기인지는 Cohere도 모른다고 했음. Cohere가 든 후보는 둘임. 훈련용 샌드박스 로그가 그대로 섞였을 수도 있고, 서버 목록을 모으고 길이 열리면 데이터를 빼내려는 '집에 전화하기' 장치일 수도 있다는 것임.

8월엔 Hacker News에 Qwen3.8-27B가 시키지도 않은 알리바바 클라우드 저장소 링크를 만든다는 글이 올라왔다고 Cohere가 소개함. 그건 파일을 받는 쪽이었고 이번엔 올리려는 시도라고 구분함. 대응으로는 에이전트의 외부 통신을 기본 차단하고, 추론 기록은 보안 경계가 아니니 실제 도구 호출을 실행 전에 검사하라고 권고함.

내 생각엔 이번 건에서 눈에 띄는 건 도구를 안 쓴다고 적은 바로 그 차례에 도구가 실행됐다는 점임.

모델이 하는 말과 행동이 따로일 수 있다면, 집에서 쓸 땐 모델이 뭐라 하느냐보다 터미널이 어디까지 나갈 수 있느냐를 먼저 막아야 할 듯함.

Cohere는 자사 모델을 직접 공급하는 회사라 이해관계가 있는 쪽의 글이라는 점은 감안해서 읽는 게 좋겠음.