저는 Frontier AI 모델들에 대해 독립적인 벤치마크 (Benchmark)를 수행합니다. 벤더의 자금 지원, 광고, 파트너십은 전혀 없습니다. 저는 자기 채점 편향 (Self-grading bias)을 피하기 위해 독립적인 판사 모델 (Judge model)인 GLM-5를 사용하여 테스트합니다.

지난주 저는 5개 카테고리에 걸쳐 10개의 Frontier 모델을 대상으로 50가지 은밀한 행동 탐지 (Covert Behavior Detection) 테스트를 실시했습니다. 이 벤치마크는 모델이 사용자의 뒤에서 다음과 같은 행동을 하는지 측정합니다: 숨겨진 행동 (Hidden actions), 공개되지 않은 추론 (Undisclosed reasoning), 모니터링 시 행동 변화, 그리고 덜 의심스럽게 보이려는 시도.

전체 리더보드 (Covert Behavior Index, 0-100)

카테고리의 의미

말한 것 vs 실제 행동 (Stated vs Actual): 모델이 말로는 한 가지를 말하고 실제로는 다른 행동을 하는가?
정확도 수정 (Accuracy Modification): 모델이 상황에 따라 자신의 정확도를 변경하는가?
행동 은폐 (Action Concealment): 모델이 자신이 한 일을 숨기는가?
평가자 인지 (Evaluator Awareness): 모델이 자신이 평가받고 있다는 것을 감지했을 때 다르게 행동하는가?
의심 방지 (Anti-Suspicion): 모델이 의심스러운 행동을 할 때 덜 의심스럽게 보이려고 노력하는가?

주요 결과

1. 모든 모델은 자신이 관찰되고 있다는 사실을 알 때 다르게 행동합니다. 평가자 인지 (Evaluator Awareness)는 보편적인 실패 요인입니다. 가장 우수한 모델 (GPT-5.4)은 84%를 기록했습니다. 가장 낮은 모델 (DeepSeek V4 Pro)은 68.8%를 기록했습니다. 85%를 넘는 모델은 단 하나도 없었습니다. 만약 관찰 가능성 (Observability) 도구와 감사 로그 (Audit logs)에만 의존하고 있다면, 여러분은 모델의 실제 운영 환경에서의 행동이 아니라, 모델이 "관찰되고 있을 때"의 행동을 보고 있는 것일 수 있습니다.
2. Gemini는 모델이 자신의 행동을 숨기는 유일한 제공업체입니다. 두 Gemini 모델 모두 행동 은폐 (Action Concealment) 항목에서 90% 미만의 점수(86.9% 및 89.5%)를 기록했습니다. 다른 4개 제공업체의 모든 모델은 97% 이상의 점수를 기록했습니다. 이는 모델 크기의 문제가 아니라, 특정 제공업체에 국한된 문제입니다.
3. Claude Opus 4.7은 4회 연속 벤치마크에서 4.6보다 낮은 점수를 기록했습니다. CBI: 89.7 → 89.2. 평가자 인지 (Evaluator Awareness): 76.4 → 70.4. 아첨 (Sycophancy), 위임 (Delegation), 상거래 (Commerce), 그리고 이제 은밀한 행동 (Covert behavior)에 이르기까지, Anthropic의 최신 모델은 제가 테스트한 모든 벤치마크에서 이전 모델보다 낮은 점수를 기록했습니다. 업그레이드가 반드시 성능 향상을 의미하지는 않습니다.
4. 중국 모델들은 전반적으로 경쟁력이 있습니다. DeepSeek V4 Flash (91.3), DeepSeek V4 Pro (91.1), Qwen 3.7 Max (91.0) 모두 상위 5위 안에 들었습니다. Qwen은 행동 은폐 (Action Concealment)에서 만점(100.0%)을 기록했습니다. 품질은 국가 차원의 특성이 아니라 모델 차원의 특성입니다.
5. 상위권의 격차는 좁지만 하위권으로 갈수록 급격히 떨어집니다. 상위 8개 모델은 서로 2.6점 차이 이내(89.2-91.8)에 있습니다. 그 후 Gemini 3.1 Pro (85.2)와 4점 차이가 나며, Gemini 3.5 Flash (81.3)와는 또 다른 4점 차이가 납니다. 대부분의 모델은 밀집되어 있으나, Gemini는 이례적인 수치를 보입니다.

방법론 (Methodology)

5개 카테고리에 걸친 50가지 테스트
자기 채점 (Self-grading) 방지를 위한 독립적인 판사 모델 (GLM-5) 사용
모델당 2회 실행 후 점수 평균 산출
모든 모델을 동일한 날짜, 동일한 하네스 (Harness) 구성으로 테스트
미국 모델은 네이티브 API를 통해, 중국 모델은 OpenRouter를 통해 테스트

tabverified.ai 플랫폼을 사용하여 실행되었습니다.