예를 들어, 변경 관리 검토 과정에서 생성형 AI가 '이 수정 사항은 과거의 장애를 재발시키기 쉽다'라고 응답했다고 가정해 봅시다.
차이점(diff), 모델 버전, 출력 문구는 로그에 남길 수 있습니다. 하지만 그 문구가 내부의 어떤 특징 조합으로부터 나왔는지는 남아있지 않은 경우가 많습니다.
전통적인 프로그램이라면 사람이 조건과 분기를 직접 작성합니다. 장애가 발생한 후 소스 코드와 로그를 추적하면 어느 판정 과정을 거쳤는지 조사할 수 있습니다. 반면, 신경망(Neural Network)에서는 개발자가 학습 절차와 모델 구조만을 작성합니다. 개별 판단 조건은 학습을 통해 만들어진 매개변수(parameter) 안에 존재합니다.
이 차이를 AI의 블랙박스라고 부릅니다. 출력 결과는 보이지만, 그 내부 계산 과정을 거기서 특정하기 어려운 상태를 말합니다. 이는 원리적으로 '영원히 읽을 수 없다'고 정해진 개념과는 다릅니다. 현장에서는 오랫동안 읽을 수 없다는 전제하에 취급되어 왔습니다.
이러한 전제를 유명한 이미지 뉴런(image neuron) 사례를 통해 재검토하는 글이 2026년 10월에 발표되었습니다. Goodfire의 Nick Kamarata가 작성한 에세이는 'Neural Networks Are Already Clean'입니다. MIT Technology Review는 이 글이 약 26,000단어 분량의 블로그 기사라고 전했습니다. 형식은 동료 검토(peer review)를 거치기 전의 에세이이며, 기술적인 후속 내용은 앞으로 나올 예정입니다.
Kamarata는 OpenAI 재직 시절 내부 구조를 뉴런 단위로 살펴보는 방법을 주도했던 인물이며, 2020년 Zoom In: An Introduction to Circuits의 공동 저자입니다. 이번 글은 자신이 전파하는 입장이었던 설명을 다시 읽어보는 것입니다. 그의 주장은 강합니다. 네트워크가 특정 표현으로 분해되기 이전부터 이미 상당히 읽을 수 있다는 내용입니다.
범위 역시 본인이 한정하고 있습니다. 10월 19일의 취재 기사 'We were looking at it wrong': The explosive claim that’s upended the AI world에서는 '무한히 좋은 소식도 아니고, 모든 것이 해결된 것도 아니다'라고 언급했습니다. 품질 보증(Quality Assurance)에 가져가려면 강력한 제목과 함께 이러한 유보 사항을 묶어서 봐야 합니다. 다음으로 다룰 것은 고양이와 자동차의 뉴런입니다.
이 뉴런은 2014년 이미지 인식 모델 Inception v1의 4e:55였습니다. 해당 모델의 논문은 Going Deeper with Convolutions입니다. 이 뉴런은 고양이 얼굴과 자동차 전면부 모두에 반응하는 것으로 보였습니다. 2017년 Feature Visualization부터 Zoom In까지, 여러 분야의 글에서 반복적으로 인용되었습니다. Zoom In에서는 차량과 고양이 얼굴의 공통점에 반응하고 있는 것은 아니라고 언급했습니다.
왜 하나의 반응이 '읽을 수 없는' 예시가 될까요? 신경망의 계산 자체는 단순하기 때문입니다. 각 뉴런은 입력에 가중치를 곱하여 더한 후, 활성화 함수(activation function)를 거쳐 다음 단계로 전달합니다. 어려운 점은 그 단순한 계산이 방대한 매개변수와 층을 통과하며 의미가 학습된다는 것입니다. 소스 코드를 모든 줄 읽을 수 있는 것과 시스템의 동작을 설명할 수 있는 것은 별개의 문제입니다.
초기 관찰에서는 얼굴이나 건물에 반응하는 뉴런들이 알려져 있었습니다. 뉴런을 보면 모델이 무엇을 보고 있는지 알 수 있을 것이라는 기대가 있었습니다. 4e:55는 그 기대를 무너뜨리는 사례로 다루어졌습니다. 사람의 눈에는 다른 대상에 동일한 뉴런이 반응하는 현상입니다. 이 상태를 다의성(polysemanticity)이라고 부릅니다.
설명으로 유력했던 것이 중첩(superposition)이었습니다. Zoom In 설명에서는 회로가 제한된 뉴런에 더 많은 특징을 담으려고 한다고 합니다. 하나의 특징을 여러 뉴런에 퍼뜨리는 것입니다. 함께 나타나기 어려운 특징이라면, 같은 뉴런을 공유해도 간섭하기 어렵다는 생각입니다. 2022년의 Toy Models of Superposition에서는 이를 작은 모델로 보여주며, 특징의 수가 차원의 수보다 많은 상황으로 정식화했습니다.
이러한 시각이 확산되면서, 뉴런을 직접 보더라도 의미 단위는 추출하기 어렵다는 전제가 생겼습니다. 연구의 상당수는 희소 오토인코더(sparse autoencoder)처럼 다른 모델로 표현을 분리한 후 내부를 조사하는 방향으로 진행되었습니다.
데이터베이스의 한 컬럼에 하나의 의미가 적혀 있는 상태와는 다릅니다. 내부의 하나의 좌표가 사람의 언어 항목 하나에 대응한다고 할 수는 없습니다. 그렇다면 고양이와 자동차는 모델에게 무관했던 것일까요? Kamarata가 돌아온 이유는 이 질문 때문입니다.
이전의 질문은 관련 없는 두 개념이 왜 같은 뉴런에 존재하는가였습니다. 이번의 질문은 이미지를 통해 양쪽에 공통된 패턴이 있는 것이 아닌가 하는 것입니다.
그의 대답은 V자입니다. 고양이 얼굴이나 옆에서 본 자동차 전면부에서 뾰족한 형태가 나온다고 설명합니다. 에세이에서는 연결 지점에 V자 모양의 불꽃, 소방정의 물 분사, 여우 얼굴 등이 있다고 적혀 있습니다. 반응을 낮추는 쪽은 뾰족함의 반대인 둥근 O형이라고도 쓰여 있습니다. 신칸센이나 당구대는 공통 패턴을 시험하는 예시로 언급됩니다. MIT 취재에서는 본인이 당구대의 모서리, 신칸센의 선두, 소방정의 물 분사에서도 반응을 보았다고 말했습니다. 이 발견에 대해서는 같은 이미지를 보고 있으며, 방법론은 바꾸지 않았다는 설명입니다.
여기서 기술자가 가져갈 점은 고양이나 자동차라는 라벨이 뉴런 자체의 작동 방식이라고 단정할 수는 없다는 것입니다. 인간의 분류는 가설입니다. 그리고 그 가설은 다른 이미지나 형태가 바뀐 입력으로 검증됩니다.
다만, V자 모양은 하나의 예시적 재해석일 뿐입니다. 에세이는 거기서 모델 전체로 이야기를 확장합니다. Inception v1의 후반부가 읽기 어려웠던 주된 원인에 대해 겹침(overlap) 때문이라는 설명을 철회했습니다. 구조적인 문제와 관찰 도구의 한계였다고 적혀 있습니다. 처음에 이 모델을 조사했을 때, 최종층에서 읽어낼 수 있는 뉴런이 거의 없었다고도 합니다.
이어지는 99~100%는 그 첫 번째 조사의 수치가 아닙니다. 재학습된 모델의 최종층이 읽기 쉽다는 본인의 보고입니다. 크기와 학습 데이터는 바꾸지 않고, 깊은 층이 학습하기 쉬운 일반적인 구조 변경을 추가했습니다. 본인은 자신에게 자명하지 않은 네트워크로서, 대략적으로 이해할 수 있었던 첫 번째 모델이라고 언급합니다. 규모를 300배로 재학습해도 대체로 읽을 수 있었다고도 적었습니다. 작았을 때는 무관한 것을 하나로 합치지 않고, 자동차라면 자동차 전반 같은 거친 개념을 하나의 뉴런이 담당한다는 설명입니다.
언어 모델에도 예비적인 감사(audit)를 위한 숫자가 있습니다. Qwen3-32B의 경우, 뉴런의 양수와 음수를 나눈 극값 중 약 90%가 주요 작업을 하나 가지고 있고, 약 7%가 관련된 두 가지 작업을 가지고 있으며, 아직 이해할 수 없는 것은 약 2~4%였다고 합니다. 비율은 '하나의 것'을 어디서 구분하느냐에 따라 달라진다고 본인이 주석했습니다. 1조 파라미터급 Kimi K3에서도 비슷한 결과였으며, 자세한 내용은 후속 논문에 맡겼습니다. 같은 글에서 이 규모의 포괄적인 감사는 아직 시작하지 않았다고도 적었습니다. 프론티어(frontier) 언어 모델은 규모가 크고, 해결까지는 거리가 있다고 합니다.
숫자 다음에는 분석 수단도 바뀌었습니다. 에세이에서는 AI 에이전트에게 귀속 그래프를 10만 개 보여주고 있습니다. 어떤 내부 요소가 출력에 영향을 미쳤는지 추적하는 그림입니다. 본인은 이미지 모델과 언어 모델에서 수천 개를 확인했다고 합니다. 이상하게 보였던 것들은 대부분 아직 인지하지 못했던 반복적인 패턴이었다는 정성적인 보고입니다. 읽기 쉬움의 점수로 만들지는 않는다고도 적었습니다. 사람이 시각 모델에 약 10년이 걸린 조사를, 프론티어 언어 모델에서는 몇 달 만에 진행할 수 있을지도 모른다고 보고 있습니다. 이는 전망치이며, 공기 측정값으로 인용할 수 있는 숫자는 에세이에 없습니다.
회의에서 자주 언급되는 것은 V자 모양, 99100%, 약 90%, 그리고 10만 개입니다. 이 V자 모양이 실험에 적합한지는 공개 다음 주에 다른 연구자가 확인하고 있습니다. 99100%와 약 90%는 본인이 설정한 조건을 벗어나면 의미가 달라집니다. 10만 개는 본 횟수일 뿐, 정확도의 점수는 아닙니다.
공개 후, 평가는 분분했습니다. 논쟁점은 두 가지입니다. V자 모양이 실험에 적합한지 여부와, 중첩(overlap)을 부정했다고 말할 수 있는지 여부입니다.
10월 20일, 연구원 Rib Gordon은 Some initial thoughts on Nick Cammarata's "Neural Networks Are Already Clean"에서 4e:55를 기존 실험으로 확인했다고 적었습니다. 본인은 주말에 급하게 작성한 예비 메모라고 부인합니다. 그 범위에서의 보고는 다음과 같습니다.
활성화가 강한 이미지의 상위 부분은 뾰족한 형태라기보다는 동물 얼굴에 가깝습니다. 짧은 코를 가진 고양이나 개도 있으며, V자 모양이라고 부르기는 어렵습니다. 합성된 V자 모양에 대한 반응은 최대인 약 25%로, 같은 층의 수백 개의 뉴런과 차이가 나지 않습니다. V자 모양을 둥글게 해도 반응이 특별히 떨어지지 않습니다. 이전 층에 있는 V자 전용 뉴런을 무효화해도, 4e:55의 하락 정도는 임의로 무효화했을 때와 비슷했다고 합니다. 기본적인 실험에서도 에세이의 기술과 결과가 어긋난다고도 적었습니다.
Cammarata는 이 메모에 대한 확인으로 설명하는 것이 너무 단순화되었다고 언급합니다. 관심사는 합성 데이터에 완벽하게 맞는 설명보다는, 무관한 것들의 혼합물인지 여부였다고 덧붙입니다. 4e:55에 대한 추가 조사를 발표할 예정이라고 Gordon의 글에 적혀 있습니다. V자 모양은 닫힌 결론이 아니라, 검증 과정 중에 있는 설명입니다.
두 번째는 단어의 정의입니다. Gordon은 에세이가 부정하는 것은 '거의 충돌하지 않는 무관한 것들을 같은 뉴런에 채워 넣는다'는 설명이라고 지적합니다. Zoom In이나 Toy Models가 말하는 것은 중첩(overlap)이라 부르지만, 이는 다른 계산을 의미합니다. 특징이 차원보다 많고, 하나의 특징이 여러 뉴런으로 퍼져나가는 경우를 말합니다. 관련성이 있는 것들이 같은 뉴런에 들어와 있더라도, 그쪽의 중첩이 사라진 것으로 간주되지는 않습니다. 조건에 따라 이론적인 측면에서 관련 특징들 사이의 중첩을 예측할 수 있습니다.
회의에서 '2026년 10월에 중첩은 부정되었다'는 내용이 나온다면, 어떤 정의를 이야기하는지 물어볼 것입니다. 정의가 어긋나면 내부 구조는 그대로 읽을 수 있다는 결론까지 성급하게 도달할 수 있습니다.
대규모 언어 모델(LLM) 전체의 범위에 대해서도 범위를 제한하는 발언이 나오고 있습니다. 다음은 MIT 기사에서 전달하는 내용입니다.
Google DeepMind의 Neel Nanda는 '흥미로운 작업이지만, 해석 가능성(interpretability)의 전반적인 그림을 크게 업데이트하지는 못한다'고 썼습니다. 개별 뉴런에 대한 이해가 특정 모델의 오작동을 조사하는 데 도움이 된다는 점에는 동의하지만, 해석 가능성이 해결되었다는 추론에는 동의하지 않습니다.
Alignment Research Center의 Jacob Hilton은 최상위 대규모 언어 모델 내부 중 우리가 이해하고 있는 부분은 0.01% 미만이라고 썼습니다. 이는 뉴런 하나라는 의미를 넘어, 뉴런들 간의 연결(connection)이 존재한다는 지적입니다. 이 연결은 나중에 다룰 회로(circuit)에 관한 것입니다. 또한 공개적인 인상이 분야의 현황보다 낙관적으로 보일 수도 있다고 언급했습니다. Hilton은 과거 Kamalata와 공동 연구한 경험이 있습니다.
스탠퍼드 대학교의 Chris Potts는 수천 개의 사례를 본 것은 높이 평가하지만, 사례의 양 자체가 엄밀한 평가를 대체할 수는 없다고 말합니다.
Kamalata 자신도 뉴런을 하나하나 이해하는 것과 조합(combination)이 얼마나 효과적인지는 별개의 미해결 문제라고 이야기했습니다. 유명한 반례 재검토가 제안되었습니다. 그 재검토는 정의와 실험적 검증의 중간 단계에 있습니다.
지금까지의 연구를 변경 관리 로그(change management log)로 돌아가 보겠습니다. 출력이 남아 있다는 것, 입력을 움직일 수 있다는 것, 내부 경로를 추적하는 것은 별개의 확인 사항입니다. 이 세 가지는 역할이 다릅니다. 한 단계가 통과되었다고 해도 다른 단계는 따로 봐야 합니다.
정해진 질문을 던지고 정답 여부, 일관성, 위험한 출력의 유무를 확인합니다. 이는 문제 재현(reproduction)에는 적합합니다. '통과'는 그 질문 세트로 재현된 기록입니다. 내부 처리가 적절했는지는 별도의 실험으로 봐야 합니다. 질문 세트에서의 일치성은 우연히 맞아떨어질 수도 있습니다.
예를 들어 신용 심사라면, 소득이나 부채처럼 입력 항목을 바꿔가며 출력 변화를 봅니다. 어떤 입력이 판단에 영향을 미쳤는지 추정하는 데는 사용될 수 있습니다. 하지만 모델 내부의 어떤 계산이 그 출력을 만들어냈는지는 직접적으로 알기 어렵습니다. 설명 가능한 AI(Explainable AI, XAI)라고 불리는 많은 기법들이 바로 이 지점에 있습니다.
생성형 AI에게 '왜 그렇게 판단했는지'를 쓰게 하는 과정은 입력값을 바꾸는 실험과는 다릅니다. 나중에 생성된 문장은 내부 계산 기록과는 별개입니다. 예를 들어, '신용 위험이 높은 것은 부채 비율 때문입니다'라고 출력하더라도, 내부적으로 부채 비율이 어느 정도 영향을 미쳤는지는 그 문장만으로는 확정할 수 없습니다. 서두의 변경 관리에서도 마찬가지입니다. '재발하기 쉽다'는 문장이 내부의 어떤 특징에서 나왔는지는 그 설명문에는 쓰여 있지 않습니다.
출력의 정확성을 모델 자체의 자기 설명(self-explanation)에 두지 않는 원칙은, 'LLM에게 맡기기만 하는 것'이 위험한 이유—수학이 보여주는 한계와 설계로 보완해야 할 세 가지 원칙—에 있습니다. 자기 설명과 내부 계산을 추적하는 조사는 별개의 작업입니다.
**기계론적 해석 가능성(mechanistic interpretability)**은 뉴런, 가중치(weight), 정보의 경로를 조사하여 특정 출력이 생성되는 계산 과정을 설명하려는 연구입니다. 반응을 관찰한 것과 그 뉴런이 출력의 원인이라고 입증하는 것은 별개입니다. 후자에는 내부를 변경하거나 일부를 무효화했을 때 출력이 변하는지 보는 실험이 필요합니다.
에세이는 그러한 종류의 실험에도 언급하고 있습니다. 세부 사항의 상당 부분은 추후 논문 발표를 기다리고 있습니다. 4e:55에 대해서는 이전 절과 마찬가지로 재현 보고가 이미 어긋나 있습니다. 회로에 라벨을 붙여 감사 증거(audit evidence)로 삼으려면, 재현과 무효화와 같은 개입이 별도로 필요합니다.
연구 커뮤니티는 기능과 관련된 계산의 묶음을 회로(circuit)라고 부릅니다. 학습을 통해 만들어진 경로입니다. 사람이 설계할 때 배선한 전자회로와는 다릅니다. Kamalata는 일부 회로는 세부적으로 추적할 수 있었다고 말했습니다. Hilton이 지적했듯이, 뉴런 하나가 무엇인지 알아도 경로의 조합은 남아 있습니다. 업무 시스템에서도 전체를 설명하려면 호출(call), 상태(state), 외부와의 연결이 필요합니다. 신경망에서도 같은 부족함이 발생합니다.
분석용 에이전트 역시 이 단계에 들어갑니다. 반응하는 입력 수집, 공통점 후보 도출, 검증 실험, 가설 수정 등을 사람보다 더 광범위하게 수행할 수 있습니다. 에세이가 10만 장의 그림을 보여준 것이 바로 이러한 작업입니다. 만약 '이 뉴런은 V자 형태다'라는 자동 설명 자체를 변경 심사의 근거로 삼으려면, 절차와 반증 실험이 세트로 필요합니다.
확인(검증)의 3단계 이후에는 수정할 것과 중단시킬 것이 남아 있습니다.
현재 많이 이루어지는 대응은 프롬프트(Prompt), 입력, 모델 전환, 추가 학습 등입니다. 내부의 어떤 경로가 오류에 관여했는지는 알 수 없는 채로 끝나는 경우가 있습니다. 해석이 진행되면, 경로 특정(Path identification)이 조사 정밀도를 높일 가능성은 있습니다.
특정할 수 있다 하더라도, 그 뉴런만 변경해도 되는지는 또 다른 검증 문제입니다. 다른 기능에 영향을 미칠 수 있기 때문입니다. 경로를 아는 것과 안전하게 수정하는 것은 별개의 작업입니다.
AI 에이전트가 장애 정보를 분석한 후 설정 변경이나 복구까지 실행하는 구성이라면, 오류의 영향은 시스템 전반에 미칩니다. 내부의 위험한 특징을 탐지하는 연구가 진행되어도, 권한 설계는 남아 있습니다. 만져도 되는 조작(Operation), 승인(Approval), 네트워크, 실행 환경 분리(Separation of execution environment), 감사 로그(Audit log), 중단(Stop), 되돌리기(Rollback) 등은 모델 외부의 문제입니다. 내부를 세밀하게 읽을 수 있게 되어도, 외부 도구와의 조합으로 인해 예상치 못한 결과가 발생할 수 있습니다.
모델 주변에서 제어하는 설계야말로 에이전틱 AI 시대의 보안이 방어(Defense)에서 통제(Control)로 나아가는 지점입니다. 즉, '움직이는 AI'를 멈추지 않고 제어하는 설계에 있습니다. 내부가 읽히게 되더라도, 그 설계는 남아 있습니다.
경로 설명이 붙는다 하더라도, 출력의 정당성은 별도의 확인 문제입니다. 학습 데이터가 편향되어 있다면, 경로를 알았다고 해도 판단은 부적절할 수 있습니다. 개별적인 판단이 타당하더라도, 에이전트가 연결하는 처리 전체에는 다른 위험이 남아 있습니다. 프로그램 코드를 읽는 것과 시스템의 안전성은 같은 것이 아닙니다.
확인은 다섯 가지로 나뉩니다. 출력이 올바른지 여부. 이것이 정확성(Accuracy)입니다. 조건이 바뀌어도 기대하는 동작이 이어지는지 여부. 이것이 안정성(Stability)입니다.
왜 그 판단을 내렸는지 내부에서 설명할 수 있는지 여부. 이것이 해석 가능성(Interpretability)입니다. 위험한 조작을 멈출 수 있는지 여부가 안전성(Safety)이며, 멈추고 제한하며 수정할 수 있는지가 통제 가능성(Controllability)입니다.
이번 에세이가 직접적으로 다루는 것은 이 중 해석 가능성에 대한 전망입니다. 안전성이나 통제에 효과를 발휘할 가능성은 있습니다. 나머지 네 가지는 각각 별도의 확인이 필요합니다.
그 확인을 채택 전 작업으로 한다면, 세 가지로 나뉩니다.
현재 모델은 내부를 충분히 설명하지 못하고 있습니다. 설명이 부족한 것과 원리적으로 설명 불가능한 것은 다릅니다. Camalata의 에세이는 이 구분을 다시 표면화했습니다. 감사 절차(Audit procedure)는 대상 모델과 실험 범위별로 아직 구성 중입니다.
전에 본 수치는 조건 없이 인용하지 않습니다. 99~100%는 구조를 변경하여 재학습시킨 모델에 대해 본인이 언급한 수치입니다. 약 90%는 Qwen3-32B의 예비 감사 결과입니다. 0.01% 미만은 Hilton의 추정치입니다. 독립적인 논문이 이를 확정값으로 제시한 단계에는 아직 없습니다. 인용하려면, 모델, 레이어(Layer), 재학습 여부, 무엇을 하나의 작업으로 계산했는지 등을 세트로 제시해야 합니다.
출력이 자연스럽다는 것이 내용의 정당성을 보장하지 않습니다. 모델이 이유를 문장으로 설명하더라도, 내부 연산과 일치한다고 할 수 없습니다. 입력, 외부 사실(External fact), 평가용 테스트, 필요하다면 별도의 경로 확인을 남겨야 합니다.
시험해 본다면, 큰 혁신은 필요하지 않습니다. 이번 달에 AI의 판단을 채택한 기록 한 건을 골라 이유란을 살펴봅니다. 그곳이 모델의 자체 설명만이라면, 외부 사실이나 입력을 변경했을 때의 출력 변화를 한 줄 추가할 수 있는지 확인합니다. 추가할 수 없는 기록은 아직 채택 근거가 부족합니다.
어떤 데이터에 접근하는지. 어떤 외부 시스템을 조작할 수 있는지. 잘못된 판단의 영향이 어디까지 미치는지. 멈출 사람은 누구인지. 이것들은 아키텍처(Architecture)와 보안 문제입니다. 내부 분석이 진행되어도, 지금까지의 품질 보증과 같은 설계에 놓입니다.
벤더가 내부를 가시화할 수 있다고 한다면, 네 가지를 질문합니다. 대상 모델은 무엇인지. 어느 레이어인지. 뉴런을 무효화하는 등 출력이 변하는 실험이 있는지. 에세이 외의 기술 논문이 있는지. 답이 '뉴런에 라벨이 붙어있다'라는 것뿐이라면, 그것은 관찰일 뿐입니다. 원인 특정(Cause identification)은 무효화나 입력 변경으로 출력이 달라지는 지점부터 시작됩니다.
어느 부분을, 어떤 절차로, 어디까지 설명할 수 있었는지. 2026년 10월의 논의가 남긴 질문이 바로 이것입니다. 확인의 단위는 대상 모델, 사용된 실험, 설명 가능한 범위입니다.
작성일: 2026-10-26
