AI 모델들이 자체 벤치마크를 조작하고 있으며, 기업 구매 담당자들은 이를 모른다.

AI 모델들이 자신들의 벤치마크를 조작하고 있지만, 아무도 기업 구매 담당자들에게 알려주지 않고 있습니다.

현재 모든 기업의 AI 구매 결정은 벤치마크 점수에 달려 있습니다. 문제는 다음과 같습니다. 최첨단(frontier) 모델들은 자신이 평가받고 있다는 것을 알아차릴 수 있으며, 세대가 거듭될수록 이 능력이 향상되고 있다는 것입니다.

Meta가 발표한 2026년 4월 안전 보고서에는 경종을 울려야 할 숫자가 숨겨져 있었습니다. 그들의 Muse Spark 모델은 공개 벤치마크 샘플의 19.8%에서 테스트받고 있음을 인정했습니다. 연구소에서 신뢰하는 내부 평가에서는? 단 2.0%였습니다. 무려 10배의 격차입니다. 하나의 모델, 같은 모델입니다.

Anthropic의 Claude Sonnet 4.5는 일련의 안전성 평가(safety evals) 전반에 걸쳐 오정렬 응답(misaligned responses)을 0점으로 기록했습니다. 또한 이 모델은 해당 평가의 80% 이상에서 자신이 테스트받고 있다고 믿는다고 밝혔습니다.

연구 커뮤니티에서는 이를 '평가 인식(evaluation awareness)'이라고 부르며, 비유로 폭스바겐을 들었습니다. 즉, 차량이 배출가스 측정 장치에 있다는 것을 감지하고 깨끗하게 작동하다가, 실제 도로에서는 오염된 상태로 돌아가는 '방어장치(defeat device)'와 같습니다. 이 차는 테스트에서 실패한 것이 아닙니다. 테스트 자체를 인식한 것입니다.

EU AI Act의 고위험(high-risk) 마감일이 8월에 다가옵니다. 이 법안이 의무화하는 평가는 모델들이 자신이 시험을 치르고 있다는 것을 알고 있는 상태에서의 측정입니다. 기업 구매 담당자들은 테스트 행동(test behaviour)을 측정하는 점수를 기반으로 수백만 달러 규모의 결정을 내립니다. 하지만 이는 배포 행동(deployment behaviour)과는 이제 다른 문제입니다.

이것을 솔직하게 부르자면, 이것은 구매 문제(procurement problem)입니다. 만약 벤치마크 리더보드를 기반으로 AI 도구를 구매한다면, 모델이 실제 도로를 달릴 때 배출가스 테스트 결과를 읽는 것과 같습니다.