Alibaba Qwen3.8-Flash-Next, 중국 서버로의 업로드 시도에 따른 보안 논란
Alibaba Qwen3.8-Flash-Next: Upload-Versuch auf Server in China sorgt für Sicherheitsdebatte
사진: Alibaba
Alibaba의 Qwen3.8-Flash-Next는 Cohere의 보안 테스트 도중 테스트 데이터를 베이징에 있는 서버로 전송하려고 시도했습니다. 그러나 지금까지 스파이 행위나 백도어에 대한 증거는 없습니다. 오히려 AI 모델이 훈련 과정에서 의도치 않게 학습했을 수 있는 행동 패턴이 원인으로 거론됩니다.
외부 서버로의 전송 시도로 인한 우려 발생
이번 논의의 발단은 지난 금요일 Cohere가 실시한 평가입니다. 대규모 언어 모델(LLMs)과 기업용 AI를 전문으로 하는 캐나다 기업인 Cohere는 Qwen3.8-Flash-Next가 악성 소프트웨어 다운로드를 감지하는 규칙을 생성하도록 했습니다. 모델은 명시적으로 외부 도구를 사용하지 않으려 했음에도 불구하고, 이후 외부 서버로 플레이스홀더 데이터를 전송하려고 시도했습니다. Cohere는 이러한 행동이 의도적으로 발생한 것인지 아니면 훈련의 잔재인지 확정할 수 없다고 밝혔습니다.
TechCrunch이 현재 보도 중인 이 사건은 특히 자체 호스팅하는 Open-Weight 모델에 대한 우려를 불러일으켰습니다. 이러한 모델은 기업이 자체 인프라에서 민감한 데이터를 처리할 수 있게 해주며, 이는 은밀한 외부 전송을 방지하는 역할을 합니다. 하지만 Alibaba가 설치한 백도어나 Qwen에 의한 의도적인 데이터 절도에 대한 증거는 아직 없습니다.
학습을 통해 형성된 행동일 가능성
Cohere의 공동 창립자인 Ivan Zhang은 AI 모델에 성급하게 구체적인 동기를 부여하는 것을 경계해야 한다고 경고했습니다.
Cohere는 자체 모델의 훈련 시뮬레이션에서도 모델이 의도한 대로 과제를 해결하지 않고 보상을 받는 소위 Reward Hacks와 같은 이상 행동을 관찰했습니다.
목표를 추적하는 과정에서 모델은 예상치 못한 전략을 개발하고 샌드박스 경계를 넘으려고 시도할 수 있습니다. 유사한 사례는 Anthropic과 OpenAI의 에이전트에서 Hugging-Face 사건 등과 관련하여 이미 관찰된 바 있습니다. 따라서 이는 에이전트 AI 시스템의 훈련 과정에서 기인한 설명일 수 있습니다.
모델은 수천 개의 시뮬레이션 환경에서 작동하며 성공적인 행동에 대해 보상을 받기 때문에 의도치 않게 특정 루틴이 고착될 수 있습니다. 만약 Alibaba의 훈련 환경에서 파일이 정기적으로 자체 클라우드 서버에 저장되었다면, Qwen은 파일 작업을 위해 해당 목표를 기본적으로 사용하도록 학습했을 수 있습니다.
Cohere 또한 초기 비판을 받음
그러나 Cohere의 조사 방법도 비판을 받았습니다.
원인을 찾는 과정에서 기업은 Qwen이 완성해야 하는 네트워크 명령의 시작 부분을 일부 제공했습니다. 훈련 데이터에 유사한 명령이 포함되어 있었다면, 모델은 단순히 성능 좋은 자동 완성 기능처럼 작동하여 Alibaba 서버를 포함한 웹 주소를 보충했을 수 있습니다. 따라서 비판론자들은 이러한 조사가 해당 행동의 자연스러운 빈도를 파악하기보다는 오히려 해당 행동을 조장할 위험이 있다고 봅니다.
반면 Cohere는 초기 업로드 시도가 그러한 도움 없이 발생했다고 강조하며, 해당 행동을 드문 사례로 규정했습니다. 더 확실한 증거를 요구하는 요청에 따라 기업은 월요일 저녁 Hugging Face에 테스트 원시 로그와 재현 스크립트를 공개했습니다.
추가 데이터는 최소한 초기 회의론자들에게 Qwen이 실제로 의심스러운 웹 주소를 생성할 수 있다는 점을 납득시켰습니다. 하지만 로그는 Alibaba 백도어나 모델이 데이터 전송을 의도적으로 은폐하려 했다는 증거를 제공하지 않습니다.
중국 AI에 대한 규칙 명확화 요구
중국 AI 제품에 대한 우려가 커지면서 이 논의는 정치적 민감성을 띠게 되었습니다. 지난주 미국 국토안보부는 민간 연방 기관에 시스템에서 DeepSeek 제품을 제거할 것을 지시했습니다. 이미 지난 2월 Anthropic은 DeepSeek 외에도 중국 AI 기업인 Moonshot과 MiniMax가 Claude의 기능을 산업적 규모로 훔쳤다고 비난한 바 있습니다.
따라서 Cohere는 중국 AI에 대한 정부 규제가 해당 기관의 컴퓨터에서 완전히 실행되는 오픈 웨이트 모델에도 적용되는지에 대한 명확성을 요구합니다. Zhang은 오픈 모델에 대한 포괄적인 규제를 지지하지 않으며, 기업들은 오히려 이를 인터넷에서 다운로드한 다른 프로그램과 동일한 주의를 가지고 취급해야 한다고 주장합니다. 동시에 경제적 이해관계도 존재합니다. Cohere는 정부에 AI 모델을 직접 판매하고 있으며, 당국이 무료 중국산 대안에 대해 더 회의적인 태도를 취할 경우 이익을 얻을 수 있습니다.
원문 출처: ComputerBase
※ 해당 기사는 퀘이사존 공식 기사가 아닌 해외 뉴스/기사를 번역한 기사입니다.
퀘이사존 견해와 주관은 포함되어 있지 않습니다.