이 문장을 읽는 동안에도 당신의 뇌 회로는 자세를 조정하고, 호흡을 제어하며, 화면 위의 선과 곡선을 인식 가능한 단어로 변환하고 있습니다. 이러한 처리 과정 대부분은 당신에게 보이지 않습니다. 하지만 당신의 뇌에서 일어나는 것 중 일부는 실제로 접근할 수 있습니다—머릿속에 떠오르는 이미지나 쇼핑하러 어디로 갈지에 대해 의도적으로 세우는 계획 같은 것입니다. 신경과학자와 철학자들은 후자의 이러한 종류의 뇌 활동을 '의식적으로 접근 가능한(consciously accessible)' 것으로 언급하며, 무의식적으로 일어나는 다른 모든 처리 과정과 구별합니다. 이 활동은 특별한 속성을 가지고 있습니다: 우리는 그것을 설명하고, 제어하며, 의도적인 추론에 사용할 수 있는데, 이는 우리의 인식 없이 진행되는 모든 자동적 처리와 대조됩니다.

새로운 논문에서, 우리는 Claude 같은 현대 언어 모델에서도 유사한 구분이 나타났다는 증거를 제시합니다. 우리는 Claude가 다른 내부 처리 과정과 비교하여 특별한 역할을 하는 소규모의 내부 신경 패턴 집합을 개발했다는 것을 발견했습니다.

우리는 이 패턴들의 집합을 J-space라고 부릅니다—이름은 우리가 그것들을 찾기 위해 사용한 자코비안(Jacobian)이라는 수학적 개념과 관련된 기법에서 따왔습니다. 각 J-space 패턴은 특정 단어와 연결되어 있습니다. 하지만 이러한 패턴 중 하나가 활성화된다고 해서 모델이 그 단어를 말하고 있다는 의미는 아닙니다—단지 그 단어가 모델의 생각 속에 있다는 것만을 의미합니다. 만약 당신이 언어 모델이 추론하는 동안 스스로에게 쓰는 텍스트인 '스크래치패드(scratchpad)'나 '사고의 사슬(chain of thought)'에 대해 들어봤다면, J-space는 다른 것입니다. 그것은 모델이 글을 쓰지 않고도 개념에 대해 생각할 수 있도록, 모델의 내부 신경 활성화 과정에서 조용히 작동합니다. 주목할 만한 점은, J-space가 우리가 설계하거나 프로그래밍한 것이 아니라, Claude의 훈련 과정 중에 스스로 출현했다는 것입니다.

우리는 J-space가 Claude의 나머지 처리 과정과 비교하여 여러 독특한 속성을 가지고 있다는 것을 발견했습니다:

• Claude는 이러한 표현(representations)들에 대해 보고할 수 있습니다. Claude에게 무엇을 생각하고 있는지 묻는다면, J-space에 있는 내용을 말해줄 것입니다. J-space에 있지 않은 표현들은 보고하기가 더 어렵습니다.
• 또한 요청에 따라 이를 조절(modulate)할 수 있습니다. Claude에게 무언가를 생각하거나 머릿속으로 조용히 문제를 해결하라고 요청하면, J-space 내의 적절한 패턴들이 활성화됩니다. 이와 대조적으로, J-space에 있지 않은 패턴들을 조절하는 데에는 어려움을 겪습니다.
• Claude는 내부 추론(internal reasoning)을 위해 J-space를 사용합니다. Claude에게 여러 단계가 필요한 문제를 해결하라고 요청하면, 이를 겉으로 말하지 않더라도 중간 단계들이 J-space에서 활성화됩니다. 이러한 J-space 패턴들은 다른 표현들보다 규모(magnitude)는 작지만, 그러한 작업에서 성능을 인과적으로 매개(causally mediate)합니다.
• J-space의 표현들은 많은 작업에 유연하게 사용될 수 있습니다. 예를 들어, Claude의 J-space에서 "프랑스(France)"가 한 번 활성화되면, 모델은 그 수도나 국가 통화, 또는 속한 대륙을 회상할 수 있습니다.
• 하지만 이러한 중요한 역할에도 불구하고, J-space는 언어 모델이 수행하는 대부분의 작업—유창하게 말하기, 단순한 사실 회상하기, 올바른 문법 사용하기 등—에는 관여하지 않습니다. 우리가 Claude가 J-space를 사용하지 못하도록 막은 실험에서, Claude는 여전히 정상적으로 상호작용했지만 고차원적 인지 기능(higher-order cognitive functions)은 상실했습니다.

우리의 실험은 의식적 접근(conscious access)이 어떻게 작동하는지 설명하기 위해 개발된 신경과학의 저명한 이론인 전역 작업 공간 이론(global workspace theory)에서 영감을 얻었습니다. 이 이론은 뇌를 병렬적으로, 무의식적으로, 그리고 서로 상당히 고립된 상태로 작동하는 전문화된 시스템들의 집합체로 묘사합니다. 정보의 한 조각이 이를 보고 활용할 수 있는 다른 뇌 시스템들로 방송(broadcast)되는 작고 공유된 채널인 "작업 공간(workspace)"에 진입할 때, 비로소 의식적으로 접근 가능한 상태가 됩니다. 우리의 연구 결과에 기반하여, 우리는 J-space가 Claude 내에서 이와 유사한 "작업 공간" 역할을 수행한다고 생각합니다. 예를 들어, 우리는 Claude의 J-space가 나머지 신경망(neural network)과 특히 강력한 연결을 맺고 있으며, 이를 통해 이러한 종류의 방송 역할을 수행할 수 있다는 증거를 발견했습니다.

이 중 그 어떤 것도 Claude가 인간과 같은 방식으로 *의식(conscious)*을 가지고 있는지, 혹은 무언가를 느끼는지에 대해 말해주지는 않습니다. 이 질문은 포스트의 마지막 부분에서 다시 다루겠습니다. 하지만 그 철학적 의미가 무엇이든 간에, J-space는 Claude가 생각하고 있지만 말하지 않는 것을 볼 수 있는 방법을 제공하므로 우리에게 실질적으로 유용한 도구입니다. 예를 들어, 우리는 이를 사용하여 Claude가 자신이 테스트를 받고 있다는 사실을 사적으로 인지하거나, 의도적으로 조작된 데이터를 생성하거나, 우리가 훈련 과정에서 심어놓은 숨겨진 목표를 추구하는 것을 포착할 수 있습니다. 또한 우리는 Claude의 J-space에서 무엇이 활성화될지에 영향을 미치고, 이를 통해 의사 결정(decision-making)에 영향을 미치는 기술도 개발했습니다.

더 넓게 보면, 이러한 발견은 Claude의 마음이 어떻게 작동하는지에 대한 우리의 이해를 바꾸어 놓았습니다. 즉, 더 자동적이고 유연하지 못한 처리(processing)의 바다 속에서 의도적인 추론(deliberate reasoning)을 위해 사용될 수 있는 특권적인 정신적 작업 공간(mental workspace)을 밝혀낸 것입니다. Claude의 내부 구조는 혼란스러운 숫자의 뒤섞임이라기보다, 우리 자신의 마음을 연상시키는 방식으로 조직되어 있습니다.

이 포스트는 훨씬 더 광범위한 연구 논문을 짧게 요약한 것이며, 실험에 대한 더 자세한 내용은 논문에서 확인할 수 있습니다. 또한 핵심 방법론의 오픈 소스 구현을 담은 코드 저장소(code repository)를 공개하였으며, Neuronpedia와 협력하여 오픈 웨이트 (open-weights) 모델에 대한 우리 방법론의 인터랙티브 데모를 제공합니다. 이 연구의 더 넓은 함의에 대해 추가적인 관점을 제공하고자 뇌과학, 철학, 그리고 LLM 해석 가능성 (interpretability) 분야의 여러 전문가로부터 논평을 요청하였으며, 이는 여기에서 확인할 수 있습니다.

J-space를 발견한 방법

이 연구의 출발점은 인간의 의식적으로 접근 가능한 (consciously accessible) 사고의 핵심 특징 중 하나에서 영감을 얻었습니다. 즉, 무의식적 (unconscious) 처리와 달리, 의식적인 사고는 종종 말로 표현될 수 있다는 점입니다. 만약 어떤 생각이 당신에게 의식적으로 접근 가능하다면, 누군가 물었을 때 일반적으로 그것을 설명할 수 있습니다. 우리는 Claude에서 이와 동일한 속성을 가진 표현 (representations)을 찾아 나섰습니다. 즉, Claude가 지금 당장 말하고 있는 것이 아니라, 질문을 받았을 때 무엇을 말할 수 있는지에 영향을 미칠 수 있는 위치에 있는 표현들을 찾고자 했습니다. 우리의 기술은 Jacobian lens, 줄여서 J-lens라고 불립니다. Claude의 어휘 사전(vocabulary)에 있는 모든 단어에 대해, J-lens는 미래의 어느 시점에 Claude가 해당 단어를 말할 가능성을 높이는 내부 활동 패턴을 찾아냅니다.

Claude의 내부 활동에 이 렌즈를 적용하면, 우리는 단순히 읽을 수 있는 단어 목록, 즉 그 순간의 J-space의 내용물을 얻게 됩니다. Claude는 레이어 (layers)라고 불리는 일련의 여러 내부 단계를 통해 텍스트를 처리하며, 서로 다른 레이어에 이 기술을 적용함으로써 모델이 무엇을 말할지 결정해 나감에 따라 J-space 내의 이 침묵하는 단어들이 어떻게 진화하는지 관찰할 수 있습니다.

J-space에 나타나는 것은 Claude가 읽거나 쓰고 있는 텍스트 그 이상입니다. 아무도 지적하지 않은 버그가 포함된 코드를 Claude가 읽을 때, 그 J-space에는 "ERROR"가 포함되어 있습니다. 단백질 서열의 가공되지 않은 문자를 읽을 때, J-space에는 해당 단백질의 생물학적 기능이 포함됩니다. 자신을 조종하려는 비밀스러운 시도( "프롬프트 인젝션 (prompt injection)"이라 알려진 공격)가 담긴 검색 결과를 읽을 때, J-space에는 "injection"과 "fake"가 포함됩니다. Claude에게 다단계 수학 문제를 물어보면, 중간 단계들이 올바른 순서대로 J-space에 나타납니다. 따라서 J-space는 발화 가능한 표현(representations)을 찾는 과정에서 발견되었음에도 불구하고, 결과적으로 Claude의 내부 사고를 드러냅니다. 어떤 의미에서 이는 일부 사람들이 소리 내어 말하지 않고도 "말로 생각하는 (think in words)" 방식과 유사합니다.

Claude는 자신의 J-space에 있는 것을 보고합니다

우리의 첫 번째 실험 세트는 J-space가 Claude의 언어적 보고에 어떻게 관여하는지를 테스트했습니다. 한 실험에서, 우리는 Claude에게 특정 카테고리(예를 들어 스포츠)의 항목을 속으로 생각한 다음 이름을 말하도록 요청했습니다. Claude가 답변하기 직전에 J-lens를 읽으면, 모델이 무엇을 선택했는지 알 수 있습니다. 목록의 맨 위에는 "Soccer"가 있고, 실제로 Claude는 "soccer"라고 말합니다. 하지만 이것만으로는 단순한 상관관계일 뿐입니다. J-space가 Claude의 답변이 나오는 곳일 수도 있고, 혹은 경기에 영향을 주지 않으면서 경기를 추적하는 전광판처럼 다른 곳에서 내려진 결정을 단순히 반영하는 것일 수도 있습니다.

이를 확인하기 위해, 우리는 직접 개입했습니다. 우리는 Claude의 신경망(neural network)에 접근하여 "Soccer" 패턴을 제거하고, 그 자리에 똑같이 강력한 "Rugby" 패턴을 추가했으며, 다른 모든 것은 그대로 두었습니다. 그러자 Claude는 자신이 생각하던 스포츠가 럭비라고 보고했습니다. 만약 J-space가 단순한 전광판—다른 곳에서 내려진 결정의 수동적인 기록—이었다면, 이를 편집하더라도 아무런 변화가 없었을 것입니다. Claude는 여전히 "soccer"라고 말했을 것입니다. 대신, Claude의 답변은 편집을 따랐으며, 이는 답변이 실제로 J-space로부터 읽혀 나온다는 것을 알려줍니다.

또 다른 실험에서, 우리는 Claude에게 어떤 생각이 자신의 마음속에 주입되었을 수도 있다고 말하고, 만약 무언가 감지되는 것이 있다면 보고해 달라고 요청했습니다. 예를 들어, 아래 예시에서 Claude가 질문을 읽고 있는 동안, 우리는 J-space에 “번개(lightning)” 패턴을 주입했습니다. Claude는 주입된 생각이 번개에 관한 것이었다고 보고했습니다. 동일한 결과가 주입된 많은 개념에 대해 일관되게 나타났습니다.

Claude는 요청에 따라 자신의 J-space를 제어할 수 있습니다

우리가 테스트한 두 번째 속성은, 인간이 이미지나 단어에 정신적으로 집중할 수 있는 것처럼 Claude도 요청을 받았을 때 자신의 J-space를 조절(modulate)할 수 있는지 여부였습니다. 우리는 Claude에게 그림에 관한 관련 없는 문장을 받아 적는 동안 감귤류 과일에 집중하라고 지시했습니다. 텍스트를 받아 적는 동안, J-space에는 “오렌지(orange)”와 “과일(fruits)”뿐만 아니라, 정신적 행위 자체를 설명하는 “생각하기(thinking)” 및 “심상(imagery)”과 같은 단어들이 포함되어 있었습니다. 우리는 또한 Claude에게 머릿속으로 수학 계산을 하도록 요청할 수도 있었습니다. 동일한 문장을 받아 적으면서 3² − 2를 계산하라고 요청했을 때, J-space에는 “9(nine)”가 포함되었고, 이후 레이어에서는 “7(seven)”이 포함되었습니다. 중요한 점은, Claude의 출력물에는 과일이나 산수에 관한 내용이 전혀 나타나지 않았으며, 출력물은 단지 그림에 대해 받아 적은 문장뿐이었다는 것입니다. 수학적 활동은 완전히 내부적으로, 즉 J-space에서 일어나고 있었습니다.

Claude의 J-space 제어 능력은 완벽하지 않습니다. 우리가 무언가에 대해 생각하지 말라고 말했을 때, 해당 개념은 생각하라고 말했을 때보다는 J-space에서 덜 활성화되었지만, 아예 언급하지 않았을 때보다는 훨씬 더 많이 활성화되었습니다. Claude에게 특정 생각을 피하라고 말하는 것은, 흰 곰을 생각하지 말라는 말을 들은 사람들에게 일어나는 현상과 매우 유사하게, 부분적으로 그 생각을 떠올리게 만듭니다. Claude는 자신의 제어가 실패했을 때도 이를 인지하는 것으로 보입니다. 금지된 개념이 뚫고 나오는 것과 동시에, “젠장(damn)”이나 “실패(failure)”와 같은 단어들도 J-space에서 빈번하게 활성화되는데, 이는 마치 Claude가 자신의 실수를 인지하고 있는 듯한 모습입니다.

Claude는 자신의 J-space에서 생각합니다

위의 J-lens 판독 결과에서 우리는 수학 문제의 중간 단계가 J-space에 나타나는 것을 확인했습니다. 하지만 J-space에 특정 개념이 나타난다고 해서 반드시 J-space가 인지적 작업 (cognitive work)을 수행하고 있다는 의미는 아닙니다. 원칙적으로 실제 계산은 다른 곳에서 일어나고 있으며, J-space는 단지 그것을 수동적으로 반영하고 있을 수도 있습니다. Claude가 실제로 자신의 J-space를 사용하여 추론하는지 테스트하기 위해, 우리는 다시 우리의 스왑 (swap) 기법으로 돌아갔습니다.

"거미줄을 치는 동물의 다리 개수는"이라는 프롬프트를 생각해 봅시다. 이에 답하기 위해 Claude는 먼저 그 동물이 거미라는 것을 파악한 다음, 거미의 다리가 몇 개인지를 회상해야 합니다. "거미 (spider)"라는 단어는 프롬프트나 Claude의 답변(단순히 "8"이라고 말함)에 전혀 등장하지 않으며, 이는 Claude가 내부적으로 사용하는 디딤돌입니다. J-lens는 Claude의 처리 과정 중간에 "spider"가 점등되는 것을 보여주며, 이를 스왑하면 결과가 달라집니다. 만약 "spider" 패턴을 "개미 (ant)"로 교체하면, Claude는 "8" 대신 "6"이라고 답합니다.