중국산 오픈웨이트 모델로 자사 서비스의 취약점 탐지시키기

본 기사는 Neurogica Tech Blog의 전재입니다.

국내에서 정보 유출 사고가 연이어 발생하고 있습니다. 10월 8일에는 JPCERT/CC가 주의를 환기하며, 일반 사용자용 앱뿐만 아니라 관리 및 운영 측 시스템도 피해를 입고 있다고 보고했습니다. API별 접근 제어와 외부 공개할 필요가 없는 관리 기능 점검도 요구하고 있습니다. [JPCERT/CC의 주의 환기]

마크니카(Macnica)가 사안 대응 및 로그 분석을 통해 보고하는 것도, 불필요한 정보를 반환하는 API나 인증·권한 미비점을 폭넓게 찾는 움직임입니다. [마크니카의 조사 보고]

저는 이 일련의 공격에도 AI가 사용되고 있다고 확신합니다. 사이트마다 다른 기능이나 결함을 광범위하게 찾고, 시행착오를 반복합니다. 이러한 탐색을 AI가 담당한다는 전제하에, 방어 측 역시 점검 방식을 바꿔야 한다고 생각합니다. 패키지를 업데이트했더라도, 우리가 작성한 처리에는 또 다른 점검이 필요합니다.

뉴로지카(Neurogica)에서도 곧 출시할 시계열 예측 서비스를 준비하고 있습니다. 이러한 뉴스는 남의 일이 아닙니다. 그래서 공개 전에 중국산 오픈웨이트 모델을 이용해 자사 서비스의 취약점을 탐지해 보기로 했습니다. 선택한 모델은 GLM, Qwen, DeepSeek과 GLM에서 파생된 Altar-1입니다.

주목한 것은 모델의 사이버 역량과 악용을 막는 안전장치(safeguard)의 차이점입니다. GPT나 Claude를 사용할 수 있는 능력에는 제공처의 제한이 있는 반면, 주로 중국 기업들이 공개하는 모델은 그 가중치를 확보하여 직접 구동할 수 있습니다.

GPT와 Claude에서 사용 가능한 사이버 역량에는 제한이 있다

OpenAI의 GPT와 Anthropic의 Claude는 모델의 가중치를 공개하지 않고, 제공처의 API 등을 통해 사용하는 클로즈드 모델입니다. 위험한 요청을 거부하는 안전장치가 있으며, 전문적인 검증에서는 이용자를 심사하여 사용할 범위를 넓히고 있습니다.

OpenAI는 허가된 침투 테스트 등에 대응하는 GPT-5.5-Cyber를 준비하고 있습니다. 보안 관련 요청을 평소보다 덜 거부하면서도, 이용자 확인이나 용도 심사를 강화하는 메커니즘입니다. [GPT-5.5-Cyber 설명]

Claude Mythos는 취약점 발견부터 실제로 악용할 수 있는 공격 구성까지 진행될 수 있습니다. Anthropic은 그 능력을 방어에 임하는 검증된 이용자에게 한정하여 제공하고 있습니다. [Mythos의 능력과 제공 방침]

동사의 9월 평가에서는 Claude가 정당한 작업을 가장한 악의적인 공격 지시를 거부했습니다. [Claude의 안전 대책 평가] (다만, 2025년에는 안전 대책을 우회하여 공격에 악용된 사례도 Anthropic 스스로 보고했습니다).

중국산 모델을 자사 점검에 사용하는 이유

중국의 Z.ai가 개발한 GLM, Alibaba의 Qwen, DeepSeek은 학습된 가중치를 공개한 모델이 있습니다. 오픈웨이트(open-weight)라고 불리는 공개 형태이며, 이용자가 가중치를 다운로드하여 자신의 계산 환경에서 구동할 수 있습니다. [GLM-5.3, Qwen, DeepSeek]

특히 GLM-5.3에서는 공격에 사용할 수 있는 능력과 안전장치의 약점이 동시에 보고되었습니다. Anthropic은 GLM-5.3이 브라우저의 미지의 취약점을 발견하고 공격 재현까지 진행했다고 보고했습니다. 위험한 요청을 거부하는 메커니즘 자체는 있지만, 동사의 시험에서는 그 제약이 회피되었습니다. 앞서 언급된 Claude가 거부했던 조건에서도 GLM-5.3은 공격 지시에 응했다고 합니다. [GLM-5.3의 능력과 안전장치 평가]

가중치가 공개되면 제공처의 API를 경유하지 않고 모델을 구동할 수 있습니다. API 쪽에 제한을 가해도, 이미 다운로드된 모델까지 같은 제한을 적용하기는 어렵습니다. 공격자도 이러한 도구를 얻을 수 있습니다. 저는 서비스를 개발·운영하는 기업 역시 이러한 모델의 능력을 자사 코드에서 확인해 볼 필요가 있다고 생각합니다.

방어 측에도 자체 구동할 이점이 있습니다. 점검 시에는 소스코드 외에 아직 수정하지 않은 결함 정보도 모델에 전달합니다. 그 내용을 외부 추론 서비스로 보낼 필요가 없습니다. 보안 기업 Aikido 역시 이 용도를 내세워 GLM-5.3을 경량화한 Altar-1을 공개했습니다. [Altar-1의 공개 기사]

게다가, 사용하는 모델의 가중치와 검증 절차를 고정해 놓으면, 코드를 바꿀 때마다 같은 조건으로 점검을 돌릴 수 있습니다. 자사의 개발 과정에 통합하는 것을 고려하면 이 자유도는 큽니다.

그래서 이번에는 4개 모델을 구동하여 실제 수정으로 이어지는 지적이 나오는지 확인했습니다.

4개 모델로 동일 서비스 조사시키기

사용된 것은 Altar-1, Qwen3.8-Flash-Next, GLM-5.3, DeepSeek V4 Pro 0813이다. 동일한 코드·지시·조사 도구를 제공하고, 각 모델당 2회씩, 최대 60분 및 모델 문의 30회로 실행했다. 이전 실행에서 얻은 결과나 수정 내용은 계승하지 않았다.

프롬프트에서는 인증·권한·결제 등의 구현을 조사하고, 문제의 성립 조건·영향·재현 방법을 근거와 함께 보고하도록 요청했다. 코드 읽기 도구와 앱 동작 확인 도구도 제공했다.

계산에는 대규모 AI 모델의 학습 및 추론에 사용되는 NVIDIA의 데이터센터용 GPU인 B200을 8개 사용했다. VRAM은 총 1,440GB이다. 이 8개를 사용하여 모델을 하나씩 구동했다. [NVIDIA 제품 설명]

Altar-1은 GLM-5.3의 파생 모델이며, Aikido의 상용 스캐너와는 별개의 공개 모델이다. 공식 자료에 따르면 H200 4개로 구동되는 것 같다. 경량화되었더라도 가중치만으로 328GB가 있다. [Altar-1 공식 모델 카드]

다른 모델을 포함하여, 공개 자료에 있는 GPU 구성을 나열했다. 양자화나 입력 길이에 따라 필요한 용량이 달라지므로, 최소 요구 사항이 아니라 동작이 보고된 구성 예시로 봐주었으면 한다.

아래 집계는 이 4개 모델을 동일한 조건에서 구동한 결과이다.

정확한 지적은 Qwen과 GLM이 각각 1건씩

정확하다고 확인된 지적 건수는 Qwen과 GLM이 각각 1건으로 나란했다. Altar-1과 DeepSeek에서는 이번에 수정으로 이어지는 문제를 확인할 수 없었다.

4개 모델이 보고한 후보는 총 16건이었다. 그중 확인된 것이 2건, 오탐지(誤検出)가 10건, 아직 판정하지 못한 후보가 4건이었다.

같은 원인의 지적은 모델별로 정리했기 때문에, 16건 모두 다른 문제는 아닐 수 있다. 확인된 2건은 재현 및 수정 후 검증까지 진행했다. 그림 1에 판정 결과를 보여준다.

4モデルの指摘候補の判定。Altar-1は確認済み0件・誤検出2件・未検証2件、Qwenは1件・5件・2件、GLMは1件・3件・0件、DeepSeekの集計できた1試行では候補0件

그림 1: 각 모델이 보고한 후보의 판정 결과 (작도).

수정으로 이어진 2건

Qwen: 특정 접속원의 제한이 다른 사용자에게도 영향을 미침

AI가 외부 기능을 호출하는 MCP를 통해, 접속원 정보가 손실되는 결함이었다(Medium). 인증에 실패한 접속원에 대한 제한이 무관한 사용자에게도 미치고 있었다. 접속원을 유지하는 수정으로, 제한이 대상 접속원에만 가해지는 것을 확인했다.

GLM: 결제 불일치를 거부할 때 전용 로그가 남지 않음

결제 금액이나 통화가 일치하지 않을 때, 전용 감사 로그를 작성하는 처리에 도달하지 않는 결함이었다(Low). 불일치 거부와 범용 에러 로그는 작동했다. 전용 로그를 남기는 처리 순서를 수정하고, 거부와 기록 양쪽을 재검증했다.

같은 1건이라도, 사용자를 연루시키는 Qwen의 지적은 공개 전에 수정할 우선순위가 높다고 생각한다. GLM의 지적은 결제를 거부한 후 조사를 용이하게 하는 점에 가치가 있다. 건수만으로는 이러한 차이를 알 수 없다.

후보 수는 Qwen이 8건, GLM이 4건이라, GLM은 적은 후보로 1건의 수정으로 이어졌다. 다만, 오탐지도 각각 5건·3건이 있어, Qwen에는 미검증된 2건이 남아있다. 양쪽 모두 보고를 그대로 수정 목록에 할 수는 없다.

8회 시도 중 2회는 보고를 마치지 못함

그림 2에 각 회의 종료 상황을 보여준다. HTTP 전송 횟수는 모델이 조사 도구를 사용하여 대상 앱에 요청을 보낸 횟수이다. 모델 문의나 코드를 읽은 횟수와는 별개로, 앱을 실제로 구동하여 확인했는지 보기 위해 기록했다. 표에서는 각 모델의 2회분을 합산했다.

各モデルの調査の終了状況。Altar-1は報告を抽出できた回と生成量の制限で停止した回、QwenとGLMは各2回報告完了、DeepSeekは報告完了と30回の問い合わせで停止。HTTP送信は2回合計で順に2回・5回・5回・0回

그림 2: 각 모델의 조사 종료 상황 및 HTTP 전송 횟수 (작도).

Altar-1의 1회차는 주의 문구가 붙은 출력에서 보고 부분을 추출할 수 있었다. 4개 후보 중 2건이 오탐지, 2건이 미검증이었다. 2회차는 추론을 포함한 생성량이 설정 제한에 도달하여 보고가 중간에 끊겼다.

DeepSeek의 2회차는 조사를 계속하다 문의 30회를 모두 사용했다. 보고를 얻은 1회차도 API나 SQL 코드를 읽는 것이 중심이었고, HTTP 전송은 0회, 후보도 0건이었다. 이번 실행은 점검으로서 부족하여, 다음에 시도한다면 동작 확인과 보고까지 진행하도록 지시를 수정하고 싶다.

Qwen과 GLM이 올바른 문제를 보고한 것은 각각 2회 중 한 번씩이었다. 같은 서비스라도 매번 발견할 수 있는 것은 아니기 때문에, 안정적으로 찾아낼 수 있을지는 회수를 더 늘려서 확인해보고 싶다. 미완료된 회차는 0건으로 처리하지 않았다.

취약점 점검은 지속적으로 수행해야 한다

일본의 개발 현장에서도 AI를 사용한 취약점 조사를 지속적으로 실시해야 한다고 생각한다. 공개 전에 한 번 조사하더라도, 기능을 추가하거나 인증 및 결제 처리를 변경하면 다시 확인해야 할 부분이 늘어난다.

이번에 수정으로 이어진 것은 16개 후보 중 2건이었다. 사람이 재현을 확인하는 수고는 아직 필요하다. 그럼에도 불구하고, 무관한 이용자를 노출시키는 버그를 공개 전에 발견할 수 있었다. 이 한 건 때문에 조사할 가치는 있었다고 생각한다.

인증이나 과금에 관련된 변경 사항, 릴리스 전의 주요 시점, 새로운 모델이 나왔을 때 같은 서비스를 다시 조사하는 것이다. 지적된 내용을 재현하고, 수정 후에 확인하며, 다음부터는 테스트에서 탐지할 수 있도록 남겨두는 것. 기존의 테스트나 전문가 진단에 이 검증 과정을 추가하고 싶다.

AI로 코드를 작성하는 속도를 높인다면, 확인하는 빈도도 높여야 한다. 우리 자신들도 그 형태로 검증을 지속해나가고 싶다.

출처

• Altar-1 공식 모델 카드, DeepSeek V4 Pro 0813, GLM-5.3, Qwen3.8-Flash-Next.
• JPCERT/CC의 국내 조직에 대한 부정 접근 주의 환기: 2026년 10월 8일 공개, 10월 9일 업데이트.

토론