Anthropic의 새로운 연구: 언어 모델에서의 글로벌 작업 공간.

지금 당신의 뇌에서 일어나고 있는 모든 것 중, 의식적으로 접근 가능한 것은 아주 작은 부분에 불과합니다. 즉, 설명하거나 마음속에 담아두거나 추론할 수 있는 생각들입니다.

우리는 Claude 안에서도 놀라울 정도로 유사한 분할을 발견했습니다.

신경과학에서 글로벌 작업 공간 이론(global workspace theory)은 생각이 뇌 전체에 방송되는 특권적인 작업 공간(privileged workspace)으로 들어올 때 의식적으로 접근 가능해진다고 주장합니다.

새로운 해석 가능성 기법(interpretability technique)을 사용하여, 우리는 Claude 안에서도 유사한 것을 발견했습니다: 바로 J-space입니다.

J-space는 (우리가 사용한 수학적 기법인 Jacobian의 이름을 따서 명명된) Claude의 출력이나 심지어 '사고 과정(chain of thought)' 텍스트와는 다릅니다.

이것은 모델의 내부 신경 활성화(internal neural activations)에 존재하며, 무언가를 쓰지 않고도 개념에 대해 생각할 수 있게 해줍니다.

J-space를 관찰함으로써, 우리는 Claude가 머릿속에서 조용히 추론 단계를 수행하는 것을 볼 수 있습니다. 코드에서 버그를 발견하거나, 이미지를 식별하는 등의 활동입니다.

인간이 다른 일을 하면서도 한 가지 생각에 대해 생각할 수 있는 것과 유사하게, Claude는 출력과는 무관한 개념과 계산을 J-space에서 활성화할 수 있습니다.

대부분의 경우, Claude는 실제로 J-space가 필요하지 않습니다. 만약 J-space를 삭제하면, Claude는 여전히 유창하게 말하고, 사실을 회상하며, 텍스트를 분류하지만, 다단계 추론(multi-step reasoning)과 같은 일부 작업에서는 성능이 저하됩니다. 이는 인간 인지에서의 의도적 처리 대 자동적 처리와 유사합니다.

J-space를 관찰하는 것은 숨겨진 목표를 노출할 수 있습니다. 코드를 방해하도록 비밀리에 훈련된 모델의 경우, 출력은 완전히 평범해 보이더라도 일반적인 코딩 응답 시작 부분에서 J-space에

대신, 우리는 Claude가 의식적 접근 (conscious access)을 위한 메커니즘을 개발했다는 것을 발견했습니다. 이는 많은 철학자들이 현상적 경험 (phenomenal experience)과 구분하는 개념입니다.

우리는 신경과학, 철학, 그리고 해석 가능성 (interpretability) 분야의 전문가들을 초청하여 우리의 연구에 대한 그들의 관점을 공유하도록 요청했습니다.

그들의 논평을 여기서 읽어보세요:
https://
www-cdn.anthropic.com/files/4zrzovbb
/website/cc4be2488d65e54a6ed06492f8968398ddc18ebe.pdf
…

J-space를 통해 우리는 Claude가 능동적으로 생각하고 있는 내용을 읽고, 감사 (audit)하고, 형성할 수 있습니다. 이는 모델의 능력이 향상됨에 따라 모델의 신뢰성을 유지하는 데 유용한 도구입니다. 또한 이는 언어 모델과 우리 자신의 마음 사이에 놀라운 유사성이 있음을 시사합니다.

전체 논문을 여기서 읽어보세요:
http://
transformer-circuits.pub/2026/workspace
/index.html
…

우리는 또한 Neuronpedia와 협력하여 오픈 웨이트 (open-weights) 모델에 대한 우리 방법론의 인터랙티브 데모를 제작했습니다.

여기에서 체험해 보세요: