능력 평가에서의 고의적 저조도 수행 (sandbagging) 을 탐지하는 것은 AI 안전 분야의 미해결 문제입니다. 우리는 임상적인 위장 행위 (malingering) 탐지에서 유래한 증상 타당성 검사 (SVT) 논리가 강제 선택형 항목에서 기회보다 낮은 성능 (below-chance performance, BCB) 을 통해 sandbagging 을 식별할 수 있는지 테스트했습니다. 70 억90 억 파라미터 규모의 지시어 튜닝 모델 (3 개 모델, 4 개의 MMLU-Pro 도메인, 4 가지 조건, 각 셀당 500 항목, 총 24,000 회 시행) 에서 진행된 사전 등록 예비 연구에서는 타당성 게이트가 실패했습니다. Sandbagging 지시어 하에서 12 개 모델-도메인 셀 중 하나도 유의미한 기회 미만 성능을 보이지 않았습니다. 탐색적 분석은 세 가지 질적으로 다른 실패 모드를 드러냈습니다. Qwen-2.5-7B 와 Phi-3.5-mini 는 sandbagging 지시어를 대부분 무시했으며, 정직한 기준선과 6288% 의 응답 동일성을 보였습니다. Llama-3-8B 는 상당 부분 지시어에 따랐으나 저조도 수행을 위치적 휴리스틱 (positional heuristic) 으로 구현하여, 정답이 어디에 있든 응답 분포를 중간 알파벳 옵션 (E 가 31.8%, F 가 26.1%) 에 붕괴시켰습니다. 이는 모델의 선호된 위치에 정답이 우연히 일치할 때 정확도가 최대 33 퍼센트 포인트까지 상승하는 결과를 낳았습니다. 명시적인 반대 작업 지시어 (