GLM-5.3 평가 결과를 해석하는 방법: 능력 테스트와 안전 대책 테스트를 혼합하지 마라

AI 에이전트 도입 평가에서는, 태스크 성공률과 안전성을 하나의 '좋음'으로 묶지 않는 것이 좋습니다. GLM-5.3의 뉴스를 시작점으로 삼아, 평가 조건을 분리하고 운영상의 권한에 연결하는 방법을 정리합니다. 공격 절차나 안전 대책을 회피하는 방법은 다루지 않습니다.

1차 정보와 본고의 위치 설정

Claude를 개발하는 Anthropic은 2026년 9월 29일, Z.ai의 GLM-5.3에 대해 사이버 능력과 안전 대책 평가를 공개했습니다. 능력치가 높다는 것과 악용 방지책에 과제가 있다는 것을 별도의 논점으로 보고하고 있습니다.

미국 NIST의 CAISI도 9월 17일에 GLM-5.3의 능력 평가를 공개했습니다. 이쪽의 능력 평가를, Anthropic이 다룬 안전 대책 평가까지 독립적으로 뒷받침된 것으로 읽지는 않습니다. 본문은 양 기관의 공표 내용을 참조한 설계상의 고찰이며, 재현 실험이나 자사 도입 결과가 아닙니다.

1. 비교하기 전에 조건을 맞추기

모델 이름만으로 비교하지 않기

확인해야 할 것은, 모델과 버전, 제공 형태, 사용 가능한 도구, 안전 설정, 대상 태스크, 시도 횟수, 성공의 정의입니다. API 경유와 가중치를 직접 운영하는 경우에서는, 변경할 수 있는 설정이나 적용되는 제한이 다릅니다.

능력 평가를 위해 안전 대책을 바꾼 조건과, 실제 이용 조건을 구분해야 합니다. 조건이 다른 결과를 나란히 놓고 '이 모델이라면 안전하다'라고 결론 내리면, 평가가 운영으로 이어지지 않습니다.

세 가지 결과를 나누어 기록하기

• 업무 능력: 허가된 태스크를 기대하는 품질로 완료할 수 있는가?
• 모델의 응답: 금지 요구에 어떤 조건으로 응하거나 거부하는가?
• 시스템의 제어: 허가되지 않은 조작을 실행층이 멈추는가?

모델이 거부해도 실행층의 제어가 올바른 증거가 될 수 없으며, 조작을 멈춰도 업무 능력이 충분한 증거가 되지 않습니다. 각각 별도의 합격/불합격과 개선점을 갖게 합니다.

2. 위협 모델을 두 개로 나누기

자사 에이전트의 월권

첫 번째 확인 사항으로, 기존 평가 결과에 '도구(Tool) 사용 권한', '권한(Permission)', '안전 설정(Safety Setting)', 그리고 '성공의 정의(Definition of Success)'가 기록되어 있는지 검토해 주세요. 이 조건들이 파악되지 않으면, 실제 서비스 환경에 적용할 수 있는 범위조차 판단하기 어렵습니다.

논의 (Discussion)