Frontier LLM들은 점(dots)이나 숫자 시퀀스와 같이 내용이 없는 필러 토큰(filler tokens) 위에서 다단계 추론을 수행하여, 가시적인 사고 사슬 (CoT, Chain-of-Thought) 없이도 정답을 도출할 수 있습니다. 이는 표면적인 토큰이 기저의 추론에 대한 어떠한 정보도 담고 있지 않은, 행동적 감독 (behavioral oversight)의 한계 사례입니다. 하지만 출력에서 숨겨져 있다고 해서 우리에게서 숨겨져 있다는 의미는 아닙니다. 네 가지 작업군 (사실 검색, 병렬 수치 합성, 문자열 조작, 인컨텍스트 계산)에 대해, 두 개의 오픈 웨이트 (open-weights) 프런티어 모델 (DeepSeek V3, Kimi K2)은 구조화되고 판독 가능한 방식으로 필러 토큰 위에서 계산을 수행합니다. 즉, 어텐션 (attention)은 질문을 필러 영역을 거쳐 정답으로 전달하며, 로짓 렌즈 (logit-lens) 판독 결과는 검색된 사실이 초기에 나타나고 이들의 합성이 후기 레이어에서 결정화됨을 보여줍니다. 또한 필러 위치에서의 KV-캐시 (KV-cache) 이식은 예시 간의 출력을 인과적으로 교체합니다. 우리는 은닉 상태 (hidden states)만을 입력으로 받아 정답 레이블이나 학습 없이도 두 모델과 네 가지 작업 모두에서 80-95%의 정확도 (최적의 LLM 판사 기준)로 중간 값을 복구하는 비지도 디코딩 파이프라인을 소개합니다. 행동적 CoT 모니터링을 무력화하는 숨겨진 계산은, 이러한 작업들에서 잔차 스트림 (residual stream)으로부터 직접 읽을 수 있으며, 이는 모니터링 가능성이 단순히 표면 토큰의 속성이 아니라 모델의 전체 계산 흔적 (computational trace)의 속성임을 시사합니다.