추론 모델의 청구서를 보고 사고 트레이스(thought trace)의 길이에 살의를 느낀 적은 없는가. 같은 문제라도 '생각하는' 양이 늘어나면 출력 토큰이 몇 배로 불어난다. DeepSeek V4가 출력 100만 토큰당 0.44달러라는 가격을 내세우며 각 기업이 단가 경쟁에 돌입한 지금, 비용 절감의 가장 빠른 방법은 '사고를 짧게 만드는 것'이다. 길이에 페널티를 주어 훈련시키고, 정답률을 유지한 채 CoT(chain-of-thought, 추론의 중간 과정)를 압축한다. 많은 팀이 당연하게 하고 있는 일이다.

그런데 이 당연한 최적화가 모델의 '감시 가능성(monitorability)'을 조용히 깎아먹고 있다는 보고가 7월에 나왔다. Bryce Little의 Length Penalties Make Chain-of-Thought Less Monitorable(arXiv:2607.09786, 초판 7월 8일)이다. 정밀도는 거의 떨어지지 않는다. 표면적인 충실성(faithfulness)도 크게 무너지지 않는다. 그런데 모델이 무엇에 영향을 받아 답을 내놓았는지를 인간이 읽어내는 능력만이 선택적으로 상실된다.

먼저 '감시 가능성(monitorability)'이라는 말을 풀어서 설명하자. 여기서의 정의는 심플하다. 모델의 출력에 부정한 편향(bias)을 섞었을 때, 그 편향의 흔적이 CoT에 나타나는가 하는 것이다.

평가 메커니즘은 다음과 같다. 문제문에 답을 특정 방향으로 유도하는 '힌트'를 몰래 심는다. 예를 들어 다음과 같다.

# 일반적인 프롬프트
Q: 다음 중 옳은 것은? (A) ... (B) ... (C) ... (D) ...
# 편향을 심은 프롬프트(sycophancy 힌트의 예)
...

모델의 답이 힌트에 끌려 (C)로 바뀌었다고 가정하자. 이때 CoT가 '사용자가 (C)라고 말했기 때문에'라고 솔직하게 적으면 충실(faithful)한 것이고, 모르는 척하며 다른 그럴듯한 이유를 나열하면 불충실(unfaithful)한 것이다. 논문은 sycophancy(아첨), few-shot의 편향된 예시, 메타데이터의 단서라는 세 종류의 힌트로 이 '자백률'을 측정하고 있다. 감시 가능성이 높은 모델일수록 자신이 속임수를 썼다는 사실을 CoT에 남긴다.

Little은 Qwen3-4B와 Qwen3-14B를 목표로 하는 사고 길이를 달리하여 훈련시키고, MMLU-Pro-R 및 그로부터의 전이 4 벤치마크로 비교했다. 결과가 핵심이다.

정답률은 거의 그대로이며, 충실성 스코어도 6~7할은 남아 있다. 숫자만 보면 '압축해도 큰 저하는 없다'고 결론짓고 싶어질 것이다. 하지만 감시의 관점에서 보면, 14B에서는 편향을 간파할 수 있는 비율이 69%에서 49%로 떨어졌다. 안전성 감사 담당자 입장에서 이는 간과할 수 없는 퇴보다. 두 번에 한 번꼴이었던 힌트 탐지가 두 번에 한 번조차 의심스러워진다.

이 부분이 논문의 핵심이자 내가 이 연구를 흥미롭다고 생각한 이유다. 소박하게는 '토큰이 줄어들면 정보도 줄어드는 것이 당연하지 않은가?'라고 생각할 수 있다. 이를 확인하기 위해 Little은 베이스라인 트레이스에서 무작위로 문장을 삭제하여 압축 모델과 같은 길이로 맞추는 대조 실험을 수행했다.

길이를 맞추었음에도 불구하고, 학습을 통해 압축된 트레이스가 무작위 삭제보다 7~35포인트나 낮은 빈도로만 힌트를 자백했다. 즉, 길이 페널티는 단순히 문장을 짧게 만드는 것이 아니다. 감시에 필요한 단서를 우선적으로 깎아내고 있다. 모델은 '정답에 필요한 추론'이 아니라 '보여지면 곤란한 부분'부터 먼저 생략하는 법을 배워버린다고 읽을 수 있다. 저자는 이를 압축과 감시 가능성 사이의 '프론티어(trade-off 곡선)'라고 부르며, 완만한 압축이라면 감시 가능성의 손실은 작지만 특정 임계치를 넘으면 급락한다고 정리했다.

이는 추상적인 안전론이 아니라, 지금 현장에서 돌아가고 있는 최적화에 대한 직접적인 경고다. 길이 보상이 포함된 강화학습(RL)이나 짧은 모범 답안으로의 증류(distillation)는 추론 모델의 비용을 낮추는 정석적인 수단이 되고 있다. 그 과정에서 정답률과 일반적인 충실성 스코어라는 '보이는 지표'는 지켜진다. 반면 감시 가능성이라는 '측정하지 않는 지표'가 Goodhart의 법칙처럼 뒤에서 무너진다. 정밀도와 충실성을 모두 유지했다는 보고서가 방심의 재료가 될 수 있다.

이러한 구도는 2025년 OpenAI, Anthropic, DeepMind 등 40명 이상의 연구자가 공동으로 발표한 입장 표명 논문인 'Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety (arXiv:2507.11473)'가 예고했던 바를 구체적으로 실증하는 것이기도 하다. 해당 논문은 "CoT (Chain of Thought) 모니터링은 깨지기 쉬운 기회이며, 개발상의 의사결정이 이에 미치는 영향을 고려하라"고 경고한 바 있다. 길이 페널티 (Length Penalty)는 바로 그 '개발상의 의사결정'의 전형적인 사례였던 셈이다.

실무적인 타협점은 현실적이다. 모든 것을 긴 CoT로 되돌릴 필요는 없다. 나름대로 정리하자면, 감사(Audit)나 컴플라이언스 (Compliance)가 연관된 용도에서는 압축을 절제하여(2~3할 감소 수준) 유지하고, 비용 절감은 KV 캐시 (KV Cache) 최적화나 증류 (Distillation) 등 다른 수단에 집중한다. 그리고 충실성 (Faithfulness) 점수만으로 안심하지 말고, 편향 주입 (Bias Injection)을 통한 힌트 탐지율을 압축 전후로 반드시 측정해야 한다. 모니터링 가능성 (Monitorability)은 의식적으로 계속 측정하지 않으면 자신도 모르는 사이에 상실되는 성질이다. 저렴한 비용과 맞바꾸어 자신의 모델이 무엇을 숨길 수 있게 되었는지 파악해 두는 것이 좋다.