신경망은 이미 깨끗하다

요약

저는 신경망의 본질에 대해 좋은 소식이 있다고 생각합니다.

이미지 및 언어 모델의 뉴런과 회로를 수개월 동안 연구한 결과, 네트워크 자체의 메커니즘이 해석 가능한 빌딩 블록이며, 기계적 해석 가능성(mechanistic interpretability)의 전망이 제가 우려했던 것보다 훨씬 좋을 수 있다는 믿음에 이르렀습니다. 이전에 많은 학계가 저를 포함하여 확신했던, 네트워크가 개념을 임의로 패킹한다는 다의성(polysemanticity)과 중첩(superposition)의 전형적인 증거는 오해된 것이었습니다. 임의한 패킹처럼 보였던 것은 대부분 제가 재귀적 일반화(recursive generalization)라고 부를 모티프이며, 이는 훨씬 덜 우려할 만합니다. 이것은 우리가 네트워크를 먼저 풀기 전에 직접 연구할 수 있다는 것을 의미합니다. 신경망은 이미 깨끗합니다.

기계적 해석 가능성에 접근하는 방법은 적어도 두 가지가 있습니다. 첫 번째는 네트워크 자체에 대한 신속한 정상 과학(rapid normal science)입니다. 즉, 네트워크의 뉴런과 회로를 살펴보고, 그것들이 어떻게 관련되는지 연구하며, 데이터가 그들을 통과하는 것을 관찰하고, 설명력을 테스트하기 위해 에이전트 규모(agentic scale)에서 실험을 수행하는 것입니다. 두 번째는 가설화된 특징 목록에서 시작하여 모든 특징을 추출하려고 시도하며, 점점 더 정교한 재구성 목표(reconstruction objectives)를 설계하고 보통 원래의 것을 무시합니다.

이 분야는 첫 번째 접근 방식으로 시작했다가 신경망이 엉킨 매듭처럼 보였기 때문에 두 번째 방식으로 되돌아갔습니다. 우리는 다의성 뉴런의 전형적인 예시, 즉 여러 관련 없는 작업을 수행하는 것처럼 보이거나 이해하기 불가능해 보이는 뉴런에 대한 광범위한 명칭을 가지고 있었습니다. 가장 유명했던 것은 이미지 모델에서 고양이 얼굴과 자동차 앞부분 모두에 반응하는 것이었습니다. 그리고 초기 분야 모델 생명체였던 InceptionV1의 마지막 레이어는 너무 임의적인 혼합으로 가득 차 있어 연구하기가 불분명했습니다. 거의 어떤 뉴런도 쉽게 해석할 수 없었습니다.

다의성(polysemanticity)에 대한 주요 설명은 중첩(superposition)이었습니다. 이는 새로운 학습 원리를 제안했습니다. 즉, 신경망이 뉴런을 다 사용하게 되면 관련 있는 것들을 그룹화하는 것을 멈추고 대신 아무 상관없는 것들을 그냥 접어버리기 시작하는데, 그 이유는 서로 간섭하지 않기 때문입니다. 그 결과는 일종의 매듭(knot)과 같습니다. 네트워크가 거의 동등하게 좋은 여러 방식으로 접힐 수 있었기 때문에, 어떤 사물이 뉴런에 의해 그룹화되었는지로는 거의 아무것도 알 수 없습니다. 무언가를 연구하려면 먼저 이 매듭을 풀거나 펼쳐야 합니다. 실제적으로 이는 두 번째 모델—희소 오토인코더(sparse autoencoder)와 같은 분해(decomposition)—을 훈련시켜 네트워크가 펼쳐진 것처럼 보이도록 근사하고, 대신 그것을 연구하는 것을 의미합니다. 만약 네트워크가 정말로 매듭지어져 있다면, 다른 대안이 없을 수도 있습니다.

주요 결과 중 하나는 중첩이 InceptionV1에 대한 잘못된 설명이었다는 것입니다. 구조적 문제들이 후반 레이어(later layers)를 넘치게 만들었습니다. 해석 가능성 도구(interpretability tools)가 이러한 문제를 증폭시켜, 후반 레이어가 일관성이 없는 것처럼 보이게 했습니다. 그 이후로 깊은 레이어들이 더 잘 학습하도록 설계된 구조적 변경들은 의도치 않게 이들을 더 해석 가능하게 만드는 효과를 가져왔습니다. 우리가 처음 InceptionV1을 연구했을 때, 마지막 레이어에서 해석 가능한 뉴런이 거의 없다는 것을 발견했습니다. 그러나 이러한 평범한 개선들만으로, 모델 크기나 훈련 데이터의 변화 없이, 그 마지막 레이어의 뉴런 중 99~100%가 쉽게 해석 가능하며 모델 전체적으로 광범위하게 읽을 수 있게 되었습니다. 이것은 제가 대부분 이해한다고 느끼는 첫 번째 비자명한(non-trivial) 신경망입니다. 여기에서 살펴볼 수 있습니다. 저는 이 네트워크를 크기 300배 범위에 걸쳐 여러 버전으로 훈련시켰고, 모든 규모에서 광범위하게 읽을 수 있었습니다. 공간이 적으면, 네트워크는 아무 상관없는 것들을 접어버리지 않고; 그 뉴런들은 단지 더 거친 개념(coarser-grained concepts)을 커버합니다. 예를 들어, 하나의 자동차 뉴런이 여러 종류의 자동차를 포괄하는 식입니다. 공간이 많아지면, 그 뉴런은 많은 특정한 자동차들로 분화됩니다. 따라서 문제는 두 번째 학습 원리의 부재가 아니라, 첫 번째 원리의 평범한 학습 실패였고, 이는 고치기 쉽습니다.

다의성(polysemanticity)과 중첩(superposition)의 전형적인 시각 예시 역시 오류였습니다. 2019년, Chris Olah와 저는 Zoom InZoom In: An Introduction to Circuits에서 원래 중첩 현상으로 소개되었던 회로를 발견했습니다.

Olah, C., Cammarata, N., Schubert, L., Goh, G., Petrov, M. and Carter, S., 2020. Distill. References ↓. 이 연구는 자동차의 특징이 관련 없는 개(dog) 뉴런 세트로 퍼져나가는 것처럼 보이는 것을 보여주었습니다. 이것은 우리가 보여준 유일한 것이었고, 제가 본 것도 유일했습니다. 우리는 네트워크가 자동차를 고차원적인 숨김 공간에 배치하여 다운스트림 뉴런들이 다시 읽어낼 수 있도록 한다고 해석했습니다. 하지만 그 조합을 읽는 것은 아무것도 없었습니다. 그것은 무언가를 숨긴 것이 아니라, 평범한 일반화(generalization)와 구성(composition)이었습니다. 제가 알기로 적절한 형태를 가진 두 번째 회로를 발표한 사람은 없습니다.

현대 언어 모델(LLM) 역시 일반적으로 생각하는 것보다 훨씬 더 해석 가능합니다. Anthropic의 Towards MonosemanticityTowards Monosemanticity: Decomposing Language Models With Dictionary Learning

Bricken, T., Templeton, A., Batson, J., et al., 2023. Transformer Circuits Thread. References ↓ (2023)에서 작은 단일 레이어 모델을 연구했을 때, 평가자(rater)는 가능한 14점 만점에 중앙 뉴런에 0점을 주어 가설을 세울 수 없다는 것을 의미했습니다. 자동 해석 가능성 프로젝트 Language Models Can Explain Neurons in Language Models

Bills, S., Cammarata, N., Mossing, D., et al., 2023. OpenAI. References ↓ 저는 OpenAI에서 근무를 시작했을 때(역시 2023년) 가장 관대한 기준으로도 해석 가능한 뉴런이 약 1.7%에 불과하다는 것을 발견했습니다.

더 나은 도구와 현대 모델을 사용하면서 상황은 상당히 달라 보입니다. Qwen3-32B의 예비 감사(preliminary audits)에서, 우리는 뉴런 극성(neuron poles)의 약 90%가 하나의 주요 임무를 가지고 있으며, 종종 작고 관련된 가지들이 붙어 있고; 또 다른 약 7%는 두 개의 관련 임무를 가지고 있으며; 단지 약 2~4%만이 아직 이해되지 않았다고 추정합니다. 이 수치에 대한 참고 사항: 하나의 임무를 가진 뉴런의 비율은 약한 활성화(weak activations)를 계산하는 임계값, 깊이, 하위 회로의 밀도, 그리고

약한 활성화(weak activations)에 얼마나 깊이 들어가는지가 여기서 중요한 요소입니다. 아래에 약한 활성화에 대해 설명하는 부분이 있습니다. 이는 뉴런이 어떤 명확한 판단을 내리는지 여부보다는 '관련된 것'의 개수를 늘리는 경향이 있습니다. 예를 들어, 트럼프(Trump) 뉴런의 약한 활성화는 MAGA 모자와 그와 관련된 사람들을 불러옵니다. 타이타닉(Titanic) 뉴런의 약한 활성화는 더 일반적인 항해 이야기나 증기 엔진 및 당대의 다른 기술들을 불러옵니다.

또한, 활성화 분위수(activation percentiles)를 신경 써야 하는지, 아니면 가장 강한 활성화의 비율을 신경 써야 하는지에 대한 질문도 있습니다. 일반적으로 저는 뉴런이 학습한 내용 자체를 신뢰해야 한다고 생각합니다. 즉, 그 자연스러운 희소성(natural sparsity), 활성화 범위 등 말입니다. 이전에는 이것을 잘 믿지 않았습니다! 저는 모든 뉴런에 걸쳐 무언가를 표준화하려는 시도에는 다소 반대합니다. 분위수 방식이 오늘날 더 흔한 이유는 생각하기가 더 쉽기 때문이라고 생각합니다.

반대의 경우도 있습니다. 예를 들어, 타이타닉 뉴런의 '무관한 직업(unrelated jobs)'을 살펴보면, 종종

전반적으로 모든 것을 하나의 “깨끗함(cleanliness)” 점수로 압축하는 것은 신경망이 어떤 체제에 놓여 있는지에 대한 광범위한 지표로 받아들여야 하며, 직접 최적화하거나 너무 강하게 붙잡아야 할 정밀한 수치는 아닙니다. 이 에세이의 상당 부분은 차원 축소(dimensionality reduced)를 덜 하고, 각 뉴런과 회로를 그 모티프(motif), 깊이, 역할 등에 따라 다르게 취급하는 데 초점을 맞추고 있습니다. 그럼에도 불구하고, 대략적인 숫자는 유용할 수 있습니다. Dense 모델과 Mixture of Experts 모델은 대략적으로 유사해 보입니다. 우리는 Kimi K3와 같이 수조 개의 매개변수(parameters)를 가진 모델에서도 비슷한 결과를 발견했으며, 이 내용은 동반 논문에서 더 자세히 다룰 것입니다. 이러한 백분율들은 고차원적인 그림을 몇 가지 숫자로 압축하며, 정확한 숫자는 “하나의 것”으로 간주하는 임계값(thresholds)을 어디에 설정하느냐에 따라 달라집니다. 예를 들어, 두 언어에서 밀접하게 관련된 관용구들을 한데 묶는지 여부와 같습니다. 저는 해석 가능성(interpretability)이 그 질문에 크게 달려 있다고 생각하지 않습니다. 훨씬 더 중요한 것은 애초에 왜 것들이 하나의 뉴런을 공유하는가입니다.

남아있는 대부분의 명백한 다의성(polysemanticity)은 제가 재귀적 일반화(recursive generalization)라고 부르는 모티프인 것 같습니다. 간단합니다. 뉴런이 성장함에 따라, 마치 나무 가지가 작은 가지를 틔우는 것처럼 그것이 싹을 틔웁니다. 예를 들어, “iy”를 감지하던 하나의 뉴런이 “diy”를 감지하도록 커졌고, 나아가 “do it yourself”까지 감지하게 되었는데, 이 문구에는 “iy”가 전혀 포함되어 있지 않습니다. 이 아이디어는 제가 작업했던 Multimodal Neurons in Artificial Neural Networks라는 논문의 잊힌 하위 섹션에서 처음 등장했습니다.

Goh, G., Cammarata, N., Voss, C., et al., 2021. Distill. References ↓ (2021). 당시에는 제가 뉴런이 학습 과정 동안 성장하는 것을 관찰하지 못했습니다. 이제는 더 쉬워졌고, 제가 본 모든 곳에서 성립합니다. 심지어 원래의 InceptionV1조차도 복잡하게 얽히지 않았습니다. 그 원래 아키텍처를 재학습시키면 여전히 지저분한 깊은 레이어를 생성하지만, 가장 읽기 어려운 뉴런들을 따라가 보면, 그것들이 국소적으로 합리적이고 인접한 영역으로 과성장하는 것을 알 수 있습니다.

따라서 다의성(polysemanticity)에 대한 두 가지 설명이 있었고, 저는 이 둘을 제안하는 데 도움을 주었습니다. 어떤 면에서는 서로 반대입니다. 일반화(generalization)는 비슷한 것들을 함께 묶고, 중첩(superposition)은 관련 없는 것들을 함께 묶습니다. 중첩은 학계가 베팅했던 것이었고, 저 역시 최근까지 그랬습니다. 하지만 이제 저는 재귀적 일반화(recursive generalization)가 기본적으로 옳다고 생각합니다. 그러면 결국 하나의 학습 원리가 남게 됩니다. 여전히 일반화이지만, 알고 보니 일반화는 프랙탈(fractal)입니다. 이것은 훨씬 덜 우려되는 부분입니다. 어떤 것들이 어떻게 그룹화되었는지에서 배울 점이 있고, 중첩된 두 항목에서는 배울 것이 없습니다. 그리고 일반화 자체가 프랙탈이기 때문에, 우리의 설명도 그럴 수 있습니다. 기본적인 설명을 시작한 다음, 더 이해하고 싶을 때 확대(zoom in)할 수 있습니다. 그런 의미에서, 충분히 자세히 본다면 거의 전체 네트워크가 해석 가능하며, 특히 훈련 과정에 따라 어떻게 성장했는지 살펴본다면 더욱 그렇습니다.

그 간극이 왜 그렇게 컸을까요? 저는 몇 가지 평범한 문제들이 복합적으로 작용했다고 생각합니다. 2023년의 설명 모델들은 추측과 테스트의 순환 고리를 돌릴 수 없었습니다. 도구와 지표가 미약했고, 실제로 맞지만 종종 분해되는 것보다는 활성화(activations)를 시뮬레이션할 수 있는 설명을 보상했습니다. 아무도 어떤 언어 뉴런 모티프를 기대해야 할지 알지 못했고, 사람들은 전반적으로 잘못된 종류의 것을 찾았습니다. 그리고 대부분의 연구는 작거나 단순화된 모델을 사용했습니다. 일종의 의미에서, 그러한 모델들은 정말로 공간이 부족했고, 이것이 중첩을 자연스러운 설명으로 만들었습니다. 하지만 공간이 부족한 네트워크가 학습 원리를 전환하는 것이 아니라, 작은 비전 모델(small vision models)처럼 뉴런들이 단순히 더 넓어질 뿐입니다. 넓은 뉴런들은 보통 무엇을 찾아야 하는지 알면 분해하기 쉽습니다. 그러한 지식과 원시적인 도구 없이는 임의의 혼합물처럼 보일 뿐입니다.

해석 가능성(Interpretability)은 놀라울 정도로 큰 모멘텀을 가지고 있습니다. 직소 퍼즐이나 십자말풀이처럼, 당신이 얻는 모든 이해는 나머지 시스템에 제약을 가하기 시작합니다. 처음에는 단일 뉴런만 살펴봅니다. 만약 그것을 이해할 수 없다면, 다른 것은 거의 도움이 되지 않습니다. 회로(circuits)나 기여도 그래프(attribution graphs)는 아직 이해하지 못한 다른 뉴런들을 기준으로 그 뉴런만을 설명해 줄 뿐입니다. 이 때문에 시작하는 것이 어려울 수 있습니다. 하지만 지도가 채워지기 시작하면, 놀라울 정도로 잘 진행됩니다. 만약 당신이 어떤 뉴런이 정확히 무엇을 하는지 모른다면, 그것이 무엇에 연결되는지, 주변의 생태계(ecosystem)는 어떠한지, 그리고 혼합 전문가 모델(mixture-of-experts model)의 경우 그 전문가가 무엇을 전문으로 하는지를 연구할 수 있습니다. 퍼즐 조각들이 맞춰지는 것과 마찬가지로, 모든 조각에는 많은 단서가 붙어 있으며, 이 단서들은 구조화되어 있고 실험하기 쉽습니다. 이것이 바로 거의 비어 있거나 대부분 채워진 상태가 놀라운 장소가 아닌 이유입니다. 그것들은 자연스러운 닻(anchor)이기 때문입니다.

‘할인 구매가 값비싼 대안보다 더 잘 작동한다는 일종의 정당함’을 추적하는 뉴런을 예로 들어보겠습니다. 이처럼 느낌이나 사회적 단서(social cue)를 추적하는 뉴런들은 우리가 발견한 것 중 가장 흔한 유형에 속합니다. 언어 뉴런 모티프(language neuron motifs)에 대한 지식도 없고 의지할 수 있는 회로도 없어서, 주변의 몇몇 이웃 뉴런들이 아직 설명되지 않았다고 가정해 봅시다. 대부분의 인간과 에이전트들은 뉴런들이 명사(nouns)를 감지하며 발화할 것이라고 예상하지만, 실제로는 그렇지 않습니다. 이 뉴런이 가장 강하게 발화하는 곳을 살펴보면, 겉보기에 관련 없어 보이는 쉼표들의 무더기를 볼 수 있습니다.