Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM이 의미 없는 필러 토큰을 사용하여 내부적으로 추론을 수행하는 현상을 분석한 연구입니다. DeepSeek V3와 Kimi K2 모델을 통해 필러 토큰 내의 은닉 상태에서 계산 흔적을 추출하고 복구하는 비지도 디코딩 파이프라인을 제안합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기Frontier LLM들은 점(dots)이나 숫자 시퀀스와 같이 내용이 없는 필러 토큰(filler tokens) 위에서 다단계 추론을 수행하여, 가시적인 사고 사슬 (CoT, Chain-of-Thought) 없이도 정답을 도출할 수 있습니다. 이는 표면적인 토큰이 기저의 추론에 대한 어떠한 정보도 담고 있지 않은, 행동적 감독 (behavioral oversight)의 한계 사례입니다. 하지만 출력에서 숨겨져 있다고 해서 우리에게서 숨겨져 있다는 의미는 아닙니다. 네 가지 작업군 (사실 검색, 병렬 수치 합성, 문자열 조작, 인컨텍스트 계산)에 대해, 두 개의 오픈 웨이트 (open-weights) 프런티어 모델 (DeepSeek V3, Kimi K2)은 구조화되고 판독 가능한 방식으로 필러 토큰 위에서 계산을 수행합니다. 즉, 어텐션 (attention)은 질문을 필러 영역을 거쳐 정답으로 전달하며, 로짓 렌즈 (logit-lens) 판독 결과는 검색된 사실이 초기에 나타나고 이들의 합성이 후기 레이어에서 결정화됨을 보여줍니다. 또한 필러 위치에서의 KV-캐시 (KV-cache) 이식은 예시 간의 출력을 인과적으로 교체합니다. 우리는 은닉 상태 (hidden states)만을 입력으로 받아 정답 레이블이나 학습 없이도 두 모델과 네 가지 작업 모두에서 80-95%의 정확도 (최적의 LLM 판사 기준)로 중간 값을 복구하는 비지도 디코딩 파이프라인을 소개합니다. 행동적 CoT 모니터링을 무력화하는 숨겨진 계산은, 이러한 작업들에서 잔차 스트림 (residual stream)으로부터 직접 읽을 수 있으며, 이는 모니터링 가능성이 단순히 표면 토큰의 속성이 아니라 모델의 전체 계산 흔적 (computational trace)의 속성임을 시사합니다.