추론 모델은 종종 정답에 일찍 도달한 후 수천 개의 토큰 동안 계속 재확인합니다. 저는 단 하나의 가중치 행을 변경하여 모델이 그 지점에서 멈추도록 만들었습니다. 추론 시간(inference time)에는 훈련 과정이나 추가 코드가 필요하지 않으며, 수정된 모델은 어디서든 실행할 수 있는 일반적인 가중치 파일입니다.
[IMG:5yk991rjlt1i1] 배경 설명: 추론 모델(DeepSeek, Qwen 등)은 답변하기 전에 스크래치패드에서 "생각"합니다. 이 스크래치패드는 모델이 특수 토큰인 </think>를 작성할 때 끝납니다. 다음 토큰을 선택하기 위해, 모델은 먼저 지금까지의 모든 것의 요약(summary)을 계산하는데, 이것이 히든 스테이트(hidden state)라고 불리는 긴 숫자 목록입니다. 마지막 레이어인 출력 레이어(output layer)는 어휘집(vocabulary)의 단어마다 하나의 가중치 행을 가지고 있습니다. 각 단어의 점수는 해당 단어의 행에 히든 스테이트를 곱한 것이며, 가장 높은 점수를 받은 단어가 다음에 나올 가능성이 가장 높은 단어입니다. 따라서 "생각 중지" (</think>)에 대한 점수는 그 레이어의 정확히 하나의 행에서 나옵니다.
제가 한 일: 모델을 24개의 수학 문제에 적용하고 생각하는 모든 토큰에서 히든 스테이트를 기록했습니다. 정답이 이미 나타나서 모델이 단지 재확인만 하고 있던 지점(구체적으로는 그 이후의 문단 끝)과, "아직 작업 중"으로 간주한 나머지 부분을 표시했습니다. 이 두 그룹을 가장 잘 분리하는 히든 스테이트의 방향을 찾았습니다. 이것은 탐침(probe)입니다: 선형 대수학(linear algebra)을 사용하여 직접 계산된 간단한 선형 분류기(linear classifier, linear discriminant analysis)이며, 기울기 훈련(gradient training)이 필요하지 않습니다. 그 방향에 강도 14를 곱하여 </think> 행에 추가했습니다. 이제 "중지" 점수는 모델의 상태가 "완료되었고, 단지 재확인하는 중"처럼 보일 때만 상승합니다. 여전히 풀고 있는 동안에는 측정 가능한 변화가 없습니다.
유용한 부가 효과: 오직 하나의 토큰 점수만 변경되기 때문에, 모델을 다시 실행하지 않고도 원본 기록으로부터 수정된 모델이 정확히 무엇을 할지 계산할 수 있습니다. 이것이 제가 강도를 선택하고 너무 일찍 멈추는 경우를 검색한 방법입니다. [IMG:0r3nr3xrlt1i1]
한 번도 본 적 없는 문제에 대해: 정답은 토큰 567에서 나타나지만, 원본 모델은 토큰 7,415까지 계속 생각하는 반면, 수정된 모델은 약 2,000개의 토큰 지점에서 98%의 확률로 멈춥니다. 결과 (소규모 샘플, 설정당 한 번의 실행) Processing img psaikkt6lt1i1... Qwen3.5-4B (stock llama.cpp에서 실행): 8개의 미지의 MATH-500 문제에 대해 54% 적은 토큰으로 동일한 정확도를 달성했습니다. 32k 토큰 제한이 있는 AIME 2025 문제 3개에 대해, 원본 모델은 이미 알고 있던 답을 재확인하는 과정에서 세 문제 모두 토큰 부족 현상을 겪었지만, 수정된 모델은 2문제를 해결했습니다. DeepSeek V4.1 Flash (763B 파라미터, 2비트, 8GB GPU가 장착된 제 노트북에서 SSD로부터 가중치 스트리밍): 수학 문제 7/7 대 6/7의 성능을 보였으며, 토큰 사용량은 40% 적었습니다. 소규모 웹사이트를 구축하는 코딩 에이전트로서: 사고 과정(thinking)이 84% 감소했습니다. 오류나 예상치 못한 상황 이후에는 여전히 생각하는 과정을 거치지만, 일상적인 단계 후에는 생각을 건너뜁니다. 페이지 품질은 유지되었으며, LLM 평가에서 최고점을 받았고, 스크린샷을 아래에 제공하여 직접 판단하실 수 있습니다. Processing img 3q1n1yp8lt1i1... 새로운 것이 아닌 점: 은닉 상태(hidden state)에 탐침(probe)을 사용하여 추론을 조기에 중단하는 것은 이미 발표된 바 있습니다 (예: Zhang et al. 2025, arXiv 2504.05419). 새로운 점은 탐침을 가중치(weights)의 단 하나의 행 내부에 배치하여 추가적인 과정이 실행되지 않게 하고, 여기에 이러한 측정 결과들을 더했다는 것입니다.
한계점: 작은 샘플 크기; 탐침은 수학에만 맞춰졌습니다 (에이전트 결과는 전이적입니다); AIME 비교는 32k 예산을 사용했는데, 이는 Qwen이 경쟁 수학을 위해 권장하는 81,920보다 낮은 수치입니다.
작성 문서(Write-up): https://think-graft.vercel.app
코드 및 모든 로그: https://github.com/nextgen-user/think-graft
모델 (GGUF): https://huggingface.co/vaibhavrpi/Qwen3.5-4B-think-graft-GGUF submitted by /u/Good-Presentation-23 [링크] [댓글]