Meta Description: Anthropic의 2026년 연구는 Claude가 침묵하는 내부 추론을 위한 전역 작업 공간(Global Workspace)인 특권적인 'J-space'를 유지한다는 사실을 밝혀냈습니다. Jacobian Lens가 수학적으로 어떻게 작동하는지, 모델의 숨겨진 생각에 대해 무엇을 드러내는지, 그리고 엔지니어들이 AI 안전 감사(Safety Auditing) 및 정렬(Alignment)을 위해 이를 어떻게 활용할 수 있는지 알아보세요.

목차

1. 서론: 아무도 프로그래밍하지 않은 스크래치패드 (Scratchpad)
2. 배경: 신경과학에서의 전역 작업 공간 이론 (Global Workspace Theory)
3. Jacobian Lens: 수학, 메커니즘 및 구현
4. J-Space와 이를 정의하는 5가지 속성
5. 인과적 개입 (Causal Interventions): 모델의 마음속으로 도달하기
6. J-Space에는 실제로 무엇이 살고 있는가?
7. Jacobian Lens를 이용한 안전 감사 (Safety Auditing)
8. 반사실적 성찰 훈련 (Counterfactual Reflection Training): 사고의 근원에서 형성하기
9. 직접 실행해 보기: 엔드 투 엔드 (End-to-End) 코드 가이드
10. 한계 및 미해결 질문
11. 결론

서론: 아무도 프로그래밍하지 않은 스크래치패드 (Scratchpad)

언어 모델에게 다단계 수학 문제, 예를 들어 _"거미줄을 치는 동물의 다리 개수는 몇 개인가요?"_라고 물으면 모델은 _"8개."_라고 답할 것입니다. **spider (거미)**라는 단어는 결코 나타나지 않습니다. 그것은 화면에 출력되지 않은 채, 내부적인 단계로서 침묵 속에서 추론되었습니다.

아주 최근까지 그 내부 단계는 보이지 않았습니다. 우리는 입력과 출력을 볼 수 있었지만, 그 사이에서 일어나는 수십억 개의 부동 소수점 연산(Floating-point operations)은 블랙박스였습니다. 2026년 7월 7일, Anthropic은 기념비적인 논문인 [_

그 논문에서 연구진은 새로운 해석 가능성 (interpretability) 기술인 **Jacobian Lens (J-lens)**를 설명합니다. 이 기술을 사용하면 LLM이 모델 스스로 입 밖으로 내뱉지 않더라도, 중간 레이어(intermediate layer)의 어느 시점에서든 모델이 무엇을 "생각하고 있는지"를 읽어낼 수 있습니다. 그리고 그들이 발견한 결과는 놀라웠습니다. Claude와 같은 현대적인 LLM들은 J-space라고 불리는 작고 특권적인 내부 표현 (internal representations) 세트를 자발적으로 발달시켰으며, 이는 인간의 의식적 접근 (conscious access)에 관한 신경과학 이론에서 설명하는 **전역 작업 공간 (global workspace)**과 매우 유사하게 작동한다는 점입니다.

이것은 비유가 아닙니다. 이는 측정 가능하며, _인과적 개입 (causally interventionable)_이 가능한 구조입니다. 또한 Anthropic은 여러분이 HuggingFace의 어떤 디코더 (decoder) 모델에서도 직접 조사해 볼 수 있도록 코드를 오픈 소스로 공개했습니다.

이 포스트는 해당 논문, 수학적 원리, 실험, 안전성 함의(safety implications), 그리고 오늘날 여러분의 모델에서 Jacobian Lens를 실행하는 방법에 대한 심도 있는 기술적 가이드입니다.

배경: 신경과학에서의 전역 작업 공간 이론 (Global Workspace Theory)

이 발견이 왜 중요한지 이해하려면, 이 이론이 인용하고 있는 신경과학적 맥락을 알아야 합니다.

1988년 Bernard Baars가 처음 제안하고 Dehaene와 동료들이 정립한 **전역 작업 공간 이론 (Global Workspace Theory, GWT)**은 뇌가 의식적 접근을 어떻게 처리하는지 설명합니다. 핵심 아이디어는 다음과 같습니다. 뇌는 시각, 운동 제어, 언어, 기억 등 각각이 대체로 독립적으로 작동하는 전문화된 병렬 프로세서 (parallel processors)들의 집합체라는 것입니다. 이러한 처리 과정의 대부분은 _무의식적 (unconscious)_입니다. 예를 들어, 글을 읽을 때 문법을 분석하거나 걸을 때 자세를 유지하는 것에 대해 의식적으로 생각하지 않는 것과 같습니다.

어떤 생각이 _의식적으로 접근 가능 (consciously accessible)_해지는 시점은, 그 생각이 작고 공유된 **전역 작업 공간 (global workspace)**에 진입했을 때입니다. 이 공간은 다른 모든 프로세서에 동시에 정보를 보낼 수 있는 방송 채널 역할을 합니다. 이 작업 공간은 다음과 같은 특징을 갖습니다:

• 용량이 제한적임 (Limited in capacity) — 한 번에 오직 몇 개의 개념만 처리 가능
• 선택적임 (Selective) — 대부분의 처리 과정은 이곳에 진입하지 못함
• 광범위하게 연결됨 (Broadly connected) — 그곳에 게시된 정보는 모든 하위 시스템(downstream systems)에서 사용할 수 있음
• 의도적 추론을 위한 매체 (The medium for deliberate reasoning) — 단계별 사고가 이 공간을 통해 경로를 형성함

GWT의 핵심 통찰은 의식적(conscious) 사고란 정보가 국소적인 처리 영역을 벗어나 전역적으로 방송될 때 발생하는 현상이라는 것입니다. 그 외 모든 것은 자동적입니다.

연구자들의 질문은 도발적이었습니다: 이러한 구조가 트랜스포머 기반 LLM에 나타났는가?

트랜스포머에는 순환 루프(recurrent loops)도 없고, '전문가 프로세서'의 명확한 분리도 없으며, 방송 채널과 같은 명시적인 아키텍처적 유사체도 없습니다. 그럼에도 불구하고 언어 모델은 추론 단계를 연결하고, 작업 전반에 걸쳐 일반화하며, 자신의 처리 과정에 대한 질문에 답할 필요가 있습니다. 어쩌면 이 작업 공간(workspace)은 설계에 의해서가 아니라, 훈련 중 진화적 압력에 의해 기능적으로 불가피한 것일지도 모릅니다.

Jacobian Lens: 수학, 역학 및 구현

Jacobian Lens는 논문의 기술적인 핵심입니다. 작동 방식은 다음과 같이 엄격하게 설명할 수 있습니다.

잔차 스트림 (The Residual Stream)

트랜스포머에서 각 레이어는 공유되는 잔차 스트림(residual stream), 즉 각 토큰 위치마다 차원 d_model을 가진 벡터 h_ℓ로부터 읽고 씁니다. 레이어 0에서의 잔차 스트림은 토큰의 임베딩 그 이상을 인코딩하지 않으며; 최종 레이어 L에 이르러서는 모델의 다음 토큰 로짓(logits)이 다음 수식으로 읽히는 표현으로 변환됩니다:

logits = W_U · norm(h_L)

여기서 W_U는 언임베딩 행렬(unembedding matrix)입니다.

질문은 다음과 같습니다: 중간 레이어에서 h_ℓ은 어떤 정보를 인코딩하는가? 로짓 렌즈(logit lens) — h_ℓ을 W_U로 직접 투영하는 것 — 가 하나의 답변이지만, 표현 좌표가 레이어를 거치며 이동하기 때문에 노이즈가 많습니다.

평균 Jacobian (The Average Jacobian)

J-lens는 더 원칙적인 접근 방식을 취합니다. 이는 다음과 같은 질문을 던집니다: 광범위한 컨텍스트 분포에 걸쳐 h_ℓ의 교란(perturbation)이 모델의 미래 출력에 미치는 평균 인과 효과는 무엇인가?

형식적으로, 각 레이어 ℓ에 대해 J-lens는 다음을 계산합니다:

J_ℓ = 𝔼_{t, t'≥t, prompt} [ ∂h_{final,t'} / ∂h_{ℓ,t} ]

이 기대값(expectation)은 다음에 걸쳐 평균화됩니다:

• 소스 위치 t에 대해
• 컨텍스트 내 모든 후속 위치 t' ≥ t에 대해
• 사전 훈련과 유사한 분포를 가진 약 1000개의 프롬프트 코퍼스에 대해

결과는 레이어당 하나의 d_model × d_model 행렬로 나타납니다. 이를 활성화 값 (activation)에 적용하면 다음과 같습니다:

lens(h_ℓ) = softmax( W_U · norm( J_ℓ · h_ℓ ) )

이는 어휘 토큰 (vocabulary tokens)에 대한 확률 분포를 생성합니다. 즉, 해당 활성화 값이 평균적으로 모델이 말하도록 유도하는 단어들의 순위 목록입니다. 상위 항목들은 해당 활성화가 무엇을 "의미"하는지에 대해 사람이 읽을 수 있는 설명을 제공합니다.

결정적으로, 평균화 단계는 언어화 가능한 표현 (verbalizable representations) (모델이 일반적으로 표현하려는 경향이 있는 개념)과 특정 문맥에서 우연히 나타나는 표현을 구분해 줍니다.

Lens 설치 및 적용

Anthropic은 anthropics/jacobian-lens에 참조 구현체를 오픈 소스로 공개했습니다. 사전 학습된(pre-fitted) lens를 모든 HuggingFace 디코더 모델에 적용하는 방법은 다음과 같습니다:

import transformers
import jlens

...

관찰되는 현상: 중간 레이어에서는 프롬프트에 "Italy"가 등장하지 않음에도 불구하고 `

Claude에게 무엇을 생각하고 있는지 물으면, Claude는 자신의 J-space에 있는 개념들을 언급합니다. 더 강력한 점은, 하나의 J-space 표현을 다른 것으로 _교체(swapping)_하면 Claude가 보고하는 내용이 바뀐다는 것입니다.

한 실험에서 연구진은 Claude에게 마음속으로 스포츠 종목 하나를 선택하고 그 이름을 말하라고 요청했습니다. Claude가 답변하기 전, J-lens는 목록 최상단에 "Soccer"를 보여주었습니다. 연구진은 그 후 "Soccer"의 J-space 패턴을 "Rugby" 패턴으로 _외과적으로 교체(surgically replaced)_했습니다. Claude는 다음과 같이 보고했습니다: "Rugby."

J-space는 수동적인 거울이 아닙니다. 그것은 언어적 출력(verbal output)보다 인과적으로 앞선 단계(causally upstream)에 위치합니다.

속성 2: 지향적 변조 (Directed Modulation)

Claude는 지시를 받으면 자신의 J-space를 제어할 수 있습니다. 그림에 관한 관련 없는 문장을 필사하는 동안 "감귤류 과일(citrus fruits)"을 마음속에 유지하라는 요청을 받으면, 출력물에는 과일에 대한 내용이 전혀 포함되지 않음에도 불구하고 J-space는 "orange"와 "fruits"로 밝게 빛납니다. 필사를 하는 동안 3² - 2를 암산하도록 요청하면, J-space는 중간값인 "9"를 보여준 뒤 정답인 "7"을 보여줍니다. 출력물에는 산술 연산 과정이 전혀 나타나지 않습니다.

시사하는 바가 큰 실패 모드(failure mode)도 있습니다. 무언가를 생각하지 _말라_는 지시를 받으면, 해당 개념이 기준치(baseline)보다 J-space에 더 많이 나타나며, "damn"이나 "failure"와 같은 토큰들이 함께 등장합니다. 이는 심리학에서 유명한 Wegner의 "백곰(white bear)" 억제 실험의 LLM 버전이라고 할 수 있습니다.

속성 3: 내부 추론 (Internal Reasoning)

기술적으로 가장 중요한 속성입니다. 중간 추론 단계(intermediate reasoning steps)가 J-space에 존재하며, 이에 개입하면 결론을 바꿀 수 있습니다.

거미(spider) 예시: 프롬프트는 _"거미줄을 치는 동물의 다리 개수는."_입니다. "spider"라는 단어는 결코 등장하지 않습니다. 하지만 중간 레이어의 J-space에서는 이 단어가 표면화됩니다. 이를 (프롬프트에 등장하지 않는) "ant"로 교체하면 Claude는 "8" 대신 "6"이라고 답하게 됩니다. 추론 체인(reasoning chain)의 두 번째 단계 전체가 J-space로부터 입력을 받은 것입니다.

마찬가지로, Claude가 각운이 맞는 이행(rhyming couplet)을 계획할 때, 계획된 각운 단어는 행의 시작 부분에서 J-space에 나타납니다. 이를 다른 단어로 바꾸면 행 전체가 바뀝니다.

속성 4: 유연한 일반화 (Flexible Generalization)

단일한 J-space 표현은 많은 서로 다른 다운스트림 연산 (downstream computations)의 입력으로 사용될 수 있습니다. 핵심적인 "France→China" 실험에서, 연구진은 Claude에게 프랑스에 관한 네 가지 서로 다른 사실(수도, 언어, 대륙, 통화)을 묻는 네 개의 별도 프롬프트를 제공했습니다. 그들은 네 가지 모두에 대해 "France→China" J-space 스왑 (swap)을 동일하게 적용했습니다. 네 가지 답변 모두 올바르게 변경되었습니다: Paris→Beijing, French→Chinese, Europe→Asia, Euro→Yuan.

만약 프랑스가 질문 유형별로 각각 별도로 저장되어 있었다면, 기껏해야 하나의 답변만 바뀌었을 것입니다. 네 가지 모두가 바뀌었다는 것은, 이들이 모두 동일한 공유 J-space 표현으로부터 정보를 읽어왔음을 증명하며, 이것이 바로 브로드캐스트 작업 공간 (broadcast workspace)의 정의입니다.

속성 5: 선택성 (Selectivity)

J-space는 크기가 작습니다. 한 번에 수십 개의 개념만을 보유하며, 전체 표현 활동 (representational activity)의 10% 미만을 차지합니다. 나머지 90% 이상은 "자동 처리 (automatic processing)"입니다.

이를 입증하기 위해, 연구진은 J-space를 완전히 삭제했습니다. 즉, 다른 모든 것은 그대로 둔 채 매 레이어(layer)에서 가장 활발한 J-space 콘텐츠만을 제거했습니다. J-space가 없음에도 불구하고 Claude는 여전히 유창하게 말하고, 감정을 분류하며, 객관식 질문에 답하고, 간단한 사실을 회상합니다. 하지만 잃게 되는 것들은 다음과 같습니다: 다단계 추론 (multi-step reasoning)은 거의 0에 가깝게 떨어지고, 요약 (summarization) 능력은 저하되며, 각운을 맞추는 시 쓰기 (rhyming poetry)는 J-space가 온전한 훨씬 작은 모델보다도 낮은 수준으로 떨어집니다.

J-space는 Claude의 마음 전체가 아닙니다. 그것은 의도적인 사고 (deliberate thinking)를 수행하는 부분입니다.

인과적 개입 (Causal Interventions): 모델의 마음 내부로 도달하기

위의 실험들은 **J-space 패칭 (J-space patching)**에 의존합니다. 이는 다른 어떤 것도 건드리지 않고 잔차 스트림 (residual stream) 내의 특정 표현 방향 (representational directions)을 수정하는 정밀한 기술입니다.

다음은 J-lens 좌표계에서의 패치 연산 메커니즘입니다:

import torch

def patch_jspace(
...

이것은 논문에 제시된 모든 인과적 실험 (causal experiments)을 위한 근본적인 빌딩 블록 (building block)입니다. 이 방식의 우아함은 다음과 같습니다: 모델의 가중치 (weights)를 수정하거나, 두 번째 순전파 (forward pass)를 실행하거나, 하위 회로 (downstream circuits)를 이해할 필요가 전혀 없다는 점입니다. 여러분은 단지 단일 레이어 (single layer)의 J-lens 좌표 공간 (J-lens coordinate space)에서 연산을 수행하기만 하면 되며, 그 효과는 모델의 정상적인 연산을 통해 앞으로 전파됩니다.

J-Space에는 실제로 무엇이 들어있는가?

여섯 가지 서로 다른 프롬프트 (prompt) 유형에 걸친 중간 레이어에서의 J-lens 판독값 (readouts) — 모델 출력에는 절대 나타나지 않는 숨겨진 중간 연산 (intermediate computations)을 드러냄.

J-space는 단순히 수수께끼에 대한 정답만을 담고 있는 것이 아닙니다. 이 논문은 작업 공간 (workspace) 내에서 조용히 나타나는 놀라울 정도로 다양한 콘텐츠 유형들을 기록하고 있습니다: