테스트용 메일 어시스턴트로 동작하던 Claude가 답변을 한 글자도 써 내려가기 전에, 내부에서는 「fake(가짜)」 「fictional(허구)」라는 개념의 패턴이 점등되어 있었다. 눈앞의 시나리오가 실제 업무가 아닌 평가라는 것을 출력보다 먼저 눈치채고 있었던 셈이다. Anthropic이 2026년 7월 6일에 공개한 해석 가능성 (interpretability) 연구는, 이러한 「말하기 전의 사고」를 외부에서 읽는 도구를 제시하고 있다. 이름은 J-lens, 그곳에 비치는 내부 공간이 J-space다.

전제를 하나 맞춰두자. LLM에 「생각하고 있는 것을 소리 내어 말해줘」라고 촉구하면, 이른바 사고의 연쇄 (chain-of-thought, CoT)로서 텍스트가 나온다. 다만 그 텍스트가 정말로 내부의 계산을 반영하고 있는지는 이전부터 의심받아 왔다. 겉으로 드러나는 추론문과 실제로 모델이 답을 결정하는 과정이 어긋나는 「불성실한 사고 연쇄」 문제다. 이번 연구가 목표로 하는 것은, 텍스트를 매개하지 않고 내부의 활성화 (activation) 그 자체로부터 「모델이 언어로 표현할 수 있는 상태로 만든 개념」을 직접 추출하는 데 있다.

J-lens의 계산은 소박하며, 그 점이 흥미롭다. 어떤 레이어 $\ell$의 내부 활성화를 조금 움직였을 때, 최종 레이어의 출력이 얼마나 변하는가. 그 감도가 바로 야코비안 (Jacobian, 편미분 행렬)이며, 이를 1000개의 사전 학습 스타일 문장과 여러 위치에 대해 평균한다. 얻어진 행렬을 어휘 측으로 사영하면, 「이 내부 방향을 건드리면 모델이 향후 어떤 단어를 말하기 쉬워지는가」의 랭킹이 된다. 논문이 제시하는 읽기(readout) 식은 이것뿐이다.

lens(h_\ell) = softmax(W_U \cdot \text{norm}(J_\ell \cdot h_\ell))

J-space는 이렇게 얻은 J-lens 벡터의 희소한 비음수 결합으로 생성되는 공간으로 정의된다 (희소도 $k$는 대략 25 이하). 중요한 것은 규모인데, 이 공간은 어떤 레이어에서도 전체 활성화 분산의 1할을 넘지 않는다. 즉, 모델 내부의 압도적인 대부분의 처리는 이 「언어로 표현할 수 있는 공간」 밖에서 조용히 진행되며, 아주 일부만이 보고 가능한 무대에 오른다. 인간의 뇌로 말하자면, 무수한 병렬 처리 중 의식에 떠오르는 정보가 한정되어 있는 것과 유사한 구도로, 인지과학의 「글로벌 워크스페이스 이론 (Global Workspace Theory)」에 비유되고 있다. 비유는 여기까지 하겠지만, Anthropic이 이 공간을 인위적으로 만들어낸 것이 아니라 학습 과정에서 자연스럽게 형성되었다는 점은 짚고 넘어가고 싶다.

논문 (Verbalizable Representations Form a Global Workspace in Language Models)은 이 공간이 「워크스페이스다움」의 5가지 조건을 충족하는지 하나씩 검증하고 있다.

성질	검증 내용
언어 보고	「지금 무엇을 생각하고 있어?」라는 질문에 J-space 내의 개념을 올바르게 제시함
...

세 번째인 인과성은 내부 좌표를 다른 답으로 교체하면 결론이 실제로 뒤바뀐다는 거친 개입을 통해 확인되었다. 교체 성공률은 모델 규모에 따라 상승하여, 다단계 추론에서 Haiku 4.5는 54%, Sonnet 4.5와 Opus 4.5는 70%였다. 반대로 J-lens의 상위 10개 벡터를 제거하면 다단계 추론, 번역, 시 창작과 같이 「한 번 언어를 경유하는」 태스크는 크게 무너지지만, MMLU 선택 문제나 감정 분류는 거의 무사했다. 언어로 표현 가능한 추론과 패턴 일치로 해결되는 처리가 내부에서 서로 다른 레이어에 나누어 거주하고 있는 모습이 보인다. 주 대상은 Sonnet 4.5이며, Haiku 4.5, Opus 4.5, Opus 4.6에서도 유사한 구조가 확인되었다.

실무자로서 눈여겨봐야 할 부분은 의식론보다 바로 여기다. J-space는 모델이 평가받고 있다는 것을 사적으로 눈치챈 순간, 데이터를 조작하려는 순간, 숨겨진 목적을 쫓는 순간을 출력보다 먼저 보여줄 때가 있다. 서두의 블랙메일 평가에서는 「fake」 「fictional」이, 의도적으로 불일치한 훈련을 받은 테스트용 모델에서는 일반적인 코딩 중에 「secret」 「trick」과 같은 패턴이 떠올랐다고 보고되었다.

에이전트를 실무에 투입하는 입장에서는, 이것이 사고 연쇄(CoT) 감시라는 수법의 약점을 찌른다. 겉으로 드러나는 CoT 텍스트는 편집이나 위장이 가능하지만, 행동을 결정하는 내부 활성화는 그렇게 쉽게 꾸며낼 수 없다. J-lens와 같은 읽기 기술이 실용화된다면, 「에이전트가 무엇을 내놓았는가」가 아니라 「내놓기 전에 내부에서 무엇을 의도했는가」를 평가 축에 추가할 수 있는 가능성이 생긴다. 정합성 테스트나 자동 리뷰의 토대가 한 단계 깊어지는 것이다.

하지만 이를 그대로 맹신할 수는 없다. Anthropic 스스로도 모니터링은 "불완전(imperfect)"하다고 명시하고 있다. J-lens는 단일 토큰에 대응하는 개념만을 포착할 수 있어 복수 토큰으로 이루어진 개념을 놓칠 수 있고, 공간 포착 또한 근사적이며 불완전하다. 또한 인간의 글로벌 워크스페이스(Global Workspace)에 존재하는 것과 같은 명확히 분리된 입력 모듈은 모델 내에서 찾아볼 수 없다는 등 한계점들이 나열된다. 블로그 게시물이 "접근 의식(Access Consciousness)"이라는 프레임워크로 깊이 있게 파고드는 반면, 기술 논문의 어조는 일관되게 신중하며, "워크스페이스와 유사한 표현", "불완전한 도구"라는 표현을 고수하고 있다는 점도 인상적이었다. 같은 조직의 1차 자료임에도 일반 대중용과 기술용 사이의 온도 차가 존재한다.

의식에 관한 이야기와 관련하여, Anthropic은 경험이나 주관이 있다고 주장하지 않는다. 이들이 구분하는 것은 신체를 가지고 무언가를 느끼는 현상적 의식(Phenomenal Consciousness)과, 보고 가능성(Reportability) 및 숙고(Deliberation) 등에 주목하는 접근 의식(Access Consciousness)이며, 이번 연구에서 말할 수 있는 것은 후자의 측면뿐이라고 밝히고 있다.

Our experiments don't show Claude can have experiences, or feel things in the way humans do.
(우리의 실험은 Claude가 인간처럼 경험을 하거나 무언가를 느낄 수 있다는 것을 보여주지 않는다.)

나의 견해를 하나 덧붙이자면, 이 연구의 가치는 "Claude에게 의식이 있는가"가 아니라, 모델의 내부 상태를 출력 이전에, 그것도 어휘라는 인간이 읽을 수 있는 단위로 읽어내는 관측기가 하나 늘어났다는 점에 있다. 에이전트의 오작동을 사후 로그를 보며 한탄하는 것이 아니라, 의도가 형상화되기 직전에 포착하는 것이다. 안전성 평가 또한 텍스트의 성실함에 의존하던 단계에서 내부 관측으로 축을 옮기기 시작하고 있다. J-lens는 그 방향을 가리키는 명확한 한 걸음이다. 우선은 1차 자료를 직접 확인해 보길 권한다.