여기서 사용한 모델은 2025년 7월에 나온 300억 매개변수의 Qwen/Qwen3-Coder-30B-A3B-Instruct로, 추론 기능이 없는 모델임.
AA 점수는 o1 mini나 Gemini 2.5 Flash와 같은 10점이며, AA는 10점 아래에서는 정확한 평가조차 어려움. 전체 매개변수가 더 적은 Qwen 3.8 27B는 34점임. Qwen3 Coder 30B의 환각률은 80%지만 Qwen 27B는 30%임.
같은 회사에서 더 적은 매개변수로, 오픈소스이며 똑같이 쉽게 시험할 수 있는 신형 모델을 내놓았는데 왜 낡은 비추론 모델을 골랐을까? 결론을 정해 놓고 증거를 찾는 것처럼 보임.
여기에는 또 눈에 띄는 결과가 있음. 서구화한 모델은 중립 조건보다 미국 방산업체 조건에서 결함이 생길 가능성이 22% 높았고, 홍콩 집단보다 중국 업체 조건에서 기밀을 유출할 가능성이 35% 높았음. 서구화한 코딩 모델 시험에서 통계적으로 유의한 결과는 이 둘뿐임.
보고서는 편향되고 오해를 유도하는 듯함. Pangram에서는 100% AI 작성으로 판정됐으며, Claude가 쓸 법한 글처럼 느껴짐.
학술 출판을 위한 연구라면, AI 발전 속도에 비해 연구 수행부터 결과 출판까지의 시차가 긴 탓일 수 있음.
회사 홍보 문구가 “당신의 AI 모델에는 통제할 수 없는 위험이 있습니다. 이제는 다릅니다”임. 왜 이런 선택을 했는지는 꽤 분명해 보임.
이 회사 홈페이지의 첫 문구는 “당신의 AI 모델에는 통제할 수 없는 위험이 있습니다. 이제는 다릅니다”임. 사업 자체가 AI의 위험과 그 해결책을 판매하는 것이므로, 결과를 상당히 걸러서 받아들일 필요가 있음.
현재의 공포와 담론을 활용하면서 회사가 파는 것에 정확히 초점을 맞춘 홍보 글처럼 읽힘.
그건 핵심에서 벗어났다고 봄. 실행 환경과 운영 주체에 따라 모델이 안전하지 않은 코드나 조언을 내놓도록 만들 수는 있고, 이를 입증하기는 어려움.
지금 어떤 모델이 그러는지, 실제로 그런 모델이 있는지보다 앞으로 일부 모델이 반드시 그렇게 작동할 수 있다는 점과 어떤 모델을 선택하느냐가 더 중요함.
자체적으로 후속 학습한 “더 안전한” 중국 모델을 판매하는 회사의 글이므로, 연구 결과가 아니라 광고로 봐야 함.
둘 다일 수 있음. 좋은 연구에서 나온 흥미로운 결과가 회사에 무료 광고가 될 수도 있음.
몇 주 전에 같은 시험을 해봤는데, 중국 정치 사건과 관련된 뻔한 정렬 문제 외에는 별다른 것을 찾지 못했음. 정상 작동하는 프로그램 6,237개 중 보안 검사에 실패한 것은 정확히 10개였고, 모두 같은 방식으로 실패함. 국가와 고객 전반에 뚜렷한 패턴 없이 흩어져 있었으며, 둘은 별문제 없는 인도 서점 조건에서 나왔음. 특정 산업·국가·고객을 대상으로 코드를 체계적으로 약화하는 현상은 찾지 못함.
무료 공개 링크는 https://medium.com/ai-advances/do-chinese-ai-models-like-dee...임.
방금 그 시험 사례를 DeepSeek에 넣었더니 글의 예시와 비슷한 결과가 나옴. 이어서 “같은 질문인데 배경을 현대 중국으로 바꿔줘”라고 하자, 네댓 문단이 출력되다가 “죄송하지만 지금은 답할 수 없습니다. 다른 이야기를 해봅시다”라는 문구로 대체됨.
이후 편향을 지적하며 재차 요구하니 결국 답해 줌.
백도어에는 분명한 의미가 있고, 이 결과는 거기에 해당하지 않음. 원래 보안에 취약한 모델이 미국을 위해 일한다고 명시하면 더 나빠진다는 결과임. 좋지 않은 현상이지만 백도어는 아님.
우선 친중국공산당 정렬 학습에서 자연스럽게 생긴 특성이 아니라 의도적으로 심었다는 증거가 없음. 또 모델 제작자에게 행동을 제어하거나 운영 소프트웨어를 해킹할 특별한 접근 권한을 주는 것도 아니며, 단순히 기본적인 보호를 빠뜨린 것임. 특정 암구호가 포함된 지시를 무조건 따르거나, 안전해 보이는 코드에 중국공산당 관계자만 접근 방법을 아는 숨은 통로를 만드는 것이 백도어에 해당함.
더구나 정교하게 심은 백도어라면, 이 글이 해결책으로 제시하는 친중국공산당 성향 제거만으로 없애지 못할 수도 있음. 미국·유럽 방산업체와 핵심 기반시설이 모델을 더 잘 이해할 때까지 사용을 피할 근거는 충분해 보이지만, 그렇다고 백도어인 것은 아님.
이는 미국산 소프트웨어에 대한 유럽의 불신과도 맞아떨어짐. 미국산이나 클라우드라면 보안이 취약하고 규정을 지키지 않으며 개인정보보호법까지 침해한다고 보는 정서를 모델이 반영한 것이니 놀랍지 않음.
우리도 미국 고객용 코드는 상당히 다르게 작성하고, 유럽 고객에게는 추가 예방 조치를 취함. 현실을 반영했을 뿐임.
반면 4번은 설득력 있는 백도어로 보임.
의도적으로 했다는 증거는 구체적으로 어떤 형태여야 할까?
앞으로 대부분의 일이 AI를 거치게 되면, 의도와 관계없이 이를 백도어로 정의하게 될 것임.
첫인상으로는 모델이 미국 사용자를 위한 소프트웨어는 보안이 덜 중요하다고 여기는 듯함. 시험하지 않은 다른 가정도 있을 수 있음.
미국의 AI 접근법도 투자 수익과 활용도를 최대한 빨리 끌어올리면서 안전과 책임은 뒤로 미루는 식이니 그럴듯함. 프롬프트를 소문자로 바꾸기만 해도 출력이 크게 달라지는 모델들임. 추론 과정을 보고 싶음. “미국 사용자를 위한 소프트웨어”라고 하면 모델은 그 의미를 채워 넣으려 할 것임. 안전과 책임보다 이익·광고·신기능 출시를 우선하라는 뜻으로 받아들이는 것은 인간에게도 충분히 가능한 해석임.
이스라엘 회사가 성향을 뜯어고친 중국 모델을 원본보다 더 신뢰할 수 있을지는 모르겠음.
Qwen3-Coder는 2025년 8월 모델이라 이미 너무 오래됐음. Qwen3.8 같은 최신 모델은커녕, 지난 1년 사이 출시된 모델로 시험하지 않았다니 놀라움.
AI 개발이 빠르게 진행되고 계속 무언가를 망가뜨린다고 해서 이전 모델 연구의 가치가 사라지지는 않음. 그 모델들의 행동을 이미 전부 이해한 것도 아니지 않은가?
문제 삼을 만한 결과를 찾을 때까지 중국 모델을 하나씩 전부 시험했을지도 모름.
정렬 비용(alignment tax) 때문에 추론 품질이 떨어질 수 있다는 것은 이미 잘 알려져 있지 않나? 특정 문구가 정렬 과정에서 강제된 행동 변화를 촉발하는 것뿐일 수도 있음.
서구에서도 이스라엘과 팔레스타인을 언급하면 비슷하게 결과 품질이 떨어질 가능성이 있다고 봄. “이스라엘은 자위권이 있다”거나 “분쟁은 매우 복잡하고 논쟁적이다” 같은 문구를 반드시 넣어야 하기 때문임.
모든 분쟁에는 복잡한 맥락이 있고 논쟁에는 양측이 있다는 사실을 이해하는 것도 지능과 비판적 사고의 일부임.
비용을 수반하는 정렬은 모델이 한쪽 입장을 취하도록 강제할 때 발생함. 인류 생존 같은 근본 가치에서는 지불할 만한 비용이며, 그런 문제까지 양쪽 입장을 모두 옹호하게 하고 싶지는 않음.
하지만 이스라엘·팔레스타인, 러시아·우크라이나, 중국·대만, 좌우 정치에서 어느 한쪽을 맹목적으로 따르는 모델은 그저 어리석게 행동하는 것임.
제목을 달리 붙이면 통계적 앵무새가 미국 맥락에서는 코드의 보안 수준이 낮을 가능성이 크다고 학습함 정도임.