요약 (TL;DR) — 기계론적 해석 가능성 (Mechanistic interpretability) 연구는 단순한 호기심을 넘어 재현 가능한 발견을 내놓는 체계적인 하위 분야로 발전했습니다. 회로 (circuits), 중첩 (superposition), 유도 헤드 (induction heads)는 이제 확립된 개념입니다. 하지만 장난감 모델 (toy models)을 이해하는 것과 프런티어 규모 (frontier-scale)의 시스템을 이해하는 것 사이의 간극은 여전히 거대합니다. 이 에세이는 무엇이 신뢰할 수 있게 확립되었는지, 어떤 부분에서 방법론이 불안정한지, 그리고 이러한 발견이 이 모델들을 기반으로 구축하는 엔지니어들에게 왜 중요한지를 짚어봅니다.

딥러닝 역사의 대부분 동안, 해석 가능성 (interpretability) 연구는 한 가지를 의미했습니다: 사후 합리화 (post-hoc rationalizations). Saliency maps, LIME, SHAP 등은 좁은 맥락에서는 유용하지만, 근본적으로 모델이 어떤 입력 특징 (input features)에 주목했는지를 알려줄 뿐, 모델이 왜 그러한 출력을 생성했는지는 알려주지 않습니다. 기계론적 해석 가능성 (Mechanistic interpretability)은 다른 프로젝트입니다. 이는 더 어려운 질문을 던집니다: 훈련된 신경망 (neural network)이 실제로 실행하고 있는 알고리즘을 역공학 (reverse-engineer) 할 수 있는가?

소규모 및 중규모 모델의 경우, 그 대답은 몇 가지 주의 사항과 함께 점점 '예'로 기울고 있습니다. 이제 재현 가능한 연구 결과들이 존재합니다. 과장된 홍보 (hype)를 걸러내고 이를 정확하게 이해하는 것은 가치 있는 일입니다.

확립된 결과들

기계론적 해석 가능성 (mechanistic interpretability)에서 가장 지속적인 발견은 **회로 (circuits)**의 존재입니다. 이는 특정하고 명명 가능한 계산을 구현하는 가중치 (weights)와 어텐션 헤드 (attention heads)의 식별 가능한 하위 그래프 (subgraphs)를 의미합니다. 대표적인 예는 트랜스포머 (transformer) 언어 모델의 유도 헤드 (induction head) 회로입니다.

유도 헤드 (induction head)는 함께 간단한 인컨텍스트 복사 알고리즘 (in-context copying algorithm)을 구현하는 한 쌍의 어텐션 헤드입니다: 만약 시퀀스에 [A][B]...[A]가 포함되어 있다면, 두 번째 헤드는 이전에 A 다음에 왔던 토큰에 다시 주목하여 B를 예측합니다. 이것은 비유나 근사치가 아닙니다. 연구자들은 특정 헤드들을 찾아내고, 이를 제거 (ablated) 했으며, 인컨텍스트 학습 (in-context learning) 성능이 예측대로 저하되는 것을 관찰했습니다. 이 메커니즘은 실재하며 측정 가능합니다.

유도 헤드 (induction heads)는 단순히 그 자체의 좁은 기능을 넘어 중요한 의미를 갖는데, 이는 유도 헤드가 더 광범위한 인컨텍스트 학습 (in-context learning) 행동의 기저에 있는 원시적인 요소 (primitive)로 보이기 때문입니다. 언어 모델에 새로운 작업 형식의 예시를 몇 개 제공했을 때 모델이 일반화한다면, 그 과정에서 유도 헤드 스타일의 회로 (circuits)가 의미 있는 역할을 수행하고 있는 것입니다. 이는 사후에 만들어낸 이야기가 아니라, 모델 내부 구조에 대한 구체적이고 반증 가능한 (falsifiable) 주장입니다.

두 번째로 확립된 결과는 **중첩 (superposition)**입니다. 신경망은 동일한 활성화 공간 (activation space) 내에서 여러 특징 (features)을 거의 직교하는 (nearly-orthogonal) 방향으로 인코딩함으로써, 자신이 가진 차원보다 더 많은 특징을 표현합니다. 이는 오랫동안 풀리지 않았던 수수께끼, 즉 왜 프로빙 분류기 (probing classifiers)가 특징을 담기에 너무 작아 보이는 레이어에서조차 거의 모든 곳에서 선형적으로 디코딩 가능한 특징을 찾아내는지에 대해 설명해 줍니다. 그 답은 네트워크가 압축된 손실 저장 (compressed, lossy storage)을 수행하고 있으며, 그 압축의 기하학적 구조가 무작위가 아니라 특징의 빈도와 공생 (co-occurrence)에 기반한 예측 가능한 패턴을 따른다는 것입니다.

중첩은 공학적으로 직접적인 시사점을 가집니다. 이는 활성화 패칭 (activation patching) 및 인과적 추적 (causal tracing) 실험 — 사실(fact)이 어디에 저장되어 있는지 찾아내기 위해 깨끗한 순전파 (forward pass)와 오염된 순전파 사이의 활성화를 교체하는 실험 — 이 실재하는 무언가를 측정하고 있지만, 그 대상이 동일한 위치에서 다른 많은 계산들과 얽혀(entangled) 있음을 의미합니다. 사실을 찾아내는 것이 곧 그것을 격리(isolating)하는 것을 의미하지는 않습니다.

방법론과 그 한계

기계론적 해석 가능성 (mechanistic interpretability)의 주요 도구는 인과적 매개 분석 (causal mediation analysis)이라고도 불리는 **활성화 패칭 (activation patching)**입니다. 설정 방법은 다음과 같습니다: 통제된 방식으로 차이가 나는 두 개의 입력에 대해 모델을 실행한 다음, 각 레이어와 헤드 위치에서 활성화를 체계적으로 교체하여 어떤 구성 요소가 출력 차이에 인과적으로 책임이 있는지를 찾아냅니다. 이는 인과 추론 (causal inference)에서 느슨하게 빌려온 원칙적인 접근 방식입니다.

문제는 발견된 결과들이 개입 (intervention)의 선택에 민감하다는 점입니다. 잔차 스트림 (residual stream)에서의 패칭 (patching), 어텐션 헤드 (attention head)의 출력에서의 패칭, 또는 MLP 레이어의 입력에서의 패칭은 서로 다른 이야기를 들려줄 수 있습니다. 트랜스포머 (transformer) 계산에 대한 단일한 정전적 분해 (canonical decomposition)는 존재하지 않으며, 분해 방식의 선택이 당신이 발견하는 내용을 결정합니다. 이것이 치명적인 결함은 아니지만, 회로 (circuit)에 대한 발견은 모델에 대한 유일한 실체적 진실 (ground truth)이 아니라, 특정 분석 프로토콜에 대한 발견으로 읽혀야 함을 의미합니다.

관련된 또 다른 문제는 **다의성 (polysemanticity)**입니다. 개별 뉴런, 심지어 개별 어텐션 헤드조차도 종종 서로 관련 없는 여러 특징 (features)에 반응합니다. 프랑스어 텍스트에 활성화되는 뉴런이 특정 코드 패턴에도 활성화될 수 있습니다. 이는 중첩 (superposition)의 결과이며, 해석 가능성 (interpretability) 논문들이 만들어내는 깔끔한 회로 도표들이 종종 단순화된 것임을 의미합니다. 실제 계산은 구성 요소들이 두 가지, 세 가지 역할을 동시에 수행하며 훨씬 더 무질서합니다.

연구자들은 **희소 오토인코더 (sparse autoencoders, SAEs)**를 사용하여 다의적 활성화를 단의적 특징 (monosemantic features) — 즉, 하나의 명명 가능한 개념에 대응하는 활성화 공간 내의 방향 — 으로 분해함으로써 이 분야에서 진전을 이루었습니다. SAE에서 유도된 특징들은 가공되지 않은 뉴런보다 더 해석 가능하며, 특정 고유 명사, 통사적 역할 (syntactic roles), 심지어 감정적 가치 (emotional valence)에 대응하는 특징들을 찾는 데 사용되어 왔습니다. 하지만 발견된 특징들은 SAE의 희소성 페널티 (sparsity penalty)와 구조에 크게 의존하며, 이는 연구자와 모델 내부 사이에 또 다른 방법론적 선택의 층위를 도입합니다.

규모의 문제 (The Scale Problem)

가장 깔끔한 기계론적 결과들은 거의 모두 수십억 개의 파라미터 미만을 가진 모델, 즉 종종 합성 작업 (synthetic tasks)으로 학습된 작은 트랜스포머에서 나옵니다. 프런티어 규모 (frontier-scale) 모델로의 이동은 단순히 양적인 확장 (scaling)의 과제가 아닙니다. 이는 질적인 과제일 수도 있습니다.

규모가 커짐에 따라, 회로 (circuits)는 더 많은 레이어 (layers)와 더 많은 헤드 (heads)에 걸쳐 분산됩니다. 작은 모델에서 발견된 깔끔한 2-헤드 유도 회로 (two-head induction circuit)는 대규모 모델에서도 유사한 형태가 존재하지만, 연산이 더 넓은 그래프 (graph)에 걸쳐 퍼져 있기 때문에 분리하기가 더 어렵습니다. 더 중요한 점은, 대규모 모델이 유사한 연산을 중복적으로 수행하는 여러 개의 중첩된 회로 (overlapping circuits)를 개발하는 것으로 보인다는 것입니다. 하나의 회로를 제거 (ablating)하더라도 다른 회로들이 이를 보완하기 때문에 성능이 깔끔하게 저하되지 않습니다. 이러한 중복성 (redundancy)은 강건성 (robustness) 측면에서는 유용하지만, 해석 가능성 (interpretability) 측면에서는 적대적입니다.

또한, 규모가 커짐에 따라 작은 모델에서는 유사한 사례가 없는 질적으로 새로운 연산 구조가 나타난다는 — 아직 완전히 확립되지는 않은 — 새로운 가설이 등장하고 있습니다. 만약 이것이 사실이라면, 작은 모델에서 개발된 회로 어휘 (circuit vocabulary)가 전이되지 않음을 의미하며, 이 분야는 각 능력 계층 (capability tier)마다 새로운 기본 요소 (primitives)를 필요로 하게 될 것입니다. 이는 열려 있는 중요하고도 핵심적인 질문입니다.

엔지니어가 관심을 가져야 하는 이유

기계론적 해석 가능성 (mechanistic interpretability)으로부터 얻는 실질적인 보상은 아직 일련의 프로덕션 도구 (production tools) 형태로 나타나지는 않았습니다. 대신, 모델의 동작을 추론하기 위한 더 날카로운 정신적 모델 (mental models)의 집합이라고 할 수 있습니다.

• 프롬프트 민감도 (Prompt sensitivity)는 기계론적 근거를 가집니다. 모델이 의미론적으로 동일한 프롬프트에 대해 매우 다르게 동작할 때, 이는 토큰화 (tokenization)와 초기 레이어의 표현 (representations)이 서로 다른 회로 (circuits)를 활성화하기 때문입니다. 이것이 패치될 버그가 아니라 트랜스포머 (transformers)가 작동하는 방식의 구조적 특징임을 이해하는 것은, 여러분이 평가 세트 (evaluation suites)를 설계하는 방식을 변화시킵니다.

• 미세 조정 (Fine-tuning)은 회로를 제거하지 않고도 억제할 수 있습니다. 모델 편집 (model editing)에 관한 연구는 미세 조정이 근본적인 회로를 수정하기보다는 경쟁하는 신호를 추가함으로써 종종 특정 동작을 억제한다는 점을 시사합니다. 이는 미세 조정된 안전 동작이 왜 취약할 수 있는지를 설명해 줍니다. 즉, 원래의 회로는 여전히 존재하며, 억제기를 우회하는 프롬프트가 나타나기를 기다리고 있는 것입니다.

• 활성화 스티어링 (Activation steering)은 실질적인 개입입니다. 순전파 (forward-pass) 중간에 모델의 잔차 스트림 (residual stream)에 특징 방향 (feature direction)을 추가하면, 해당 특징에 상응하는 방향으로 모델의 동작을 안정적으로 변화시킬 수 있습니다. 이것은 마법이 아닙니다. 선형 표현 가설 (linear representation hypothesis)에서 직접적으로 도출되는 결과입니다. 또한 이는 SAE (Sparse Autoencoders)에서 유도된 특징들이 더 신뢰할 수 있게 됨에 따라, 활성화 공간 (activation-space) 개입이 통제된 생성 (controlled generation)을 위한 더욱 실용적인 도구가 될 것임을 의미합니다.

이 모든 내용이 여러분이 운영 환경 (production)에서 직접 해석 가능성 실험을 수행해야 한다는 뜻은 아닙니다. 이 분야의 연구 결과물이 이제 모델 평가, 편집, 그리고 제어에서 가능한 범위를 변화시키고 있으므로, 주의 깊게 읽어볼 가치가 있을 만큼 밀도가 높아졌음을 의미합니다.

솔직한 평가

기계론적 해석 가능성 (Mechanistic interpretability)은 진지한 연구 프로그램으로서의 입지를 다졌습니다. 이 분야는 재현 가능한 발견을 만들어냈고, 알려진 실패 모드 (failure modes)를 가진 방법론적 도구 세트 (methodological toolkit)를 개발했으며, 모델 동작에 관한 실질적인 질문들과 연결되기 시작했습니다. 이는 대부분의 해석 가능성 접근 방식이 주장할 수 있는 것 이상입니다.

하지만 이 분야의 핵심적인 야망 — 프런티어 모델 (frontier model)이 추론할 때 무엇을 하고 있는지에 대한 완전하고 인간이 읽을 수 있는 설명 — 은 여전히 멀리 있습니다. 합성 태스크 (synthetic task) 상의 2개 층 어텐션 전용 트랜스포머 (two-layer attention-only transformer)를 이해하는 것과, 개방형 질문 (open-ended question)에 대해 1,000억 개의 파라미터를 가진 모델을 이해하는 것 사이의 격차는 단순히 더 많은 컴퓨팅 자원과 더 많은 대학원생의 문제가 아닙니다. 이는 아직 존재하지 않는 새로운 개념적 프레임워크 (conceptual frameworks)를 필요로 할 수도 있습니다.

올바른 태도는 부정하는 것도, 맹신하는 것도 아닙니다. 발견된 사실들은 실제적입니다. 하지만 이를 확장하여 추론하는 것은 추측에 기반합니다. 시니어 엔지니어에게 있어, 그 차이를 구분하는 것이 바로 핵심입니다.