신경망이 학습하는 방식 이해하기 (대화형 시각화 포함)

요약하자면(TL;DR) 해석 가능성(Interpretability)은 우리가 생각했던 것보다 훨씬 다루기 쉬울 수 있으며, 이전에는 그렇지 않다고 모두를 설득하는 데 도움을 주었던 사람이 이제는 결국 뉴런과 그 상호작용을 직접 연구함으로써 모델을 이해할 수 있다고 말하고 있습니다. 이 에세이는 신경망(neural network)이 어떻게 학습하고 연결하는지에 대한 근본적인 가정을 재작성하며, 제가 본 것 중 최고의 인터랙티브 시각화 자료를 포함하고 있습니다. Qwen3 32B, Qwen3.6-35B-A3B, 그리고 Kimi K3와 같은 모델과 컨볼루션 비전(convolutional vision) 모델들을 연구합니다. 수년 동안 인공지능(AI) 해석 가능성 분야의 표준적인 관점은 신경망이 뒤얽힌 혼란이라는 것이었습니다. 개별 뉴런은 무작위적이고 관련 없는 것들에 반응하는 것처럼 보였고(유명한 예시: 하나의 뉴런이 고양이 얼굴과 자동차 전면부 모두에 대해 활성화됨), 그 설명은 "중첩(superposition)"이라는 개념이었습니다. 이는 네트워크가 공간을 절약하기 위해 관련 없는 개념들을 동일한 뉴런에 밀어 넣는다는 아이디어였습니다. 만약 이것이 사실이라면, 모델 내부를 들여다보고 읽을 수만은 없습니다. 먼저 그것을 풀기 위해 완전히 새로운 두 번째 모델을 구축해야 하는데, 이것이 이 분야가 희소 오토인코더(sparse autoencoder)에 집중하게 된 큰 이유 중 하나입니다. 원래 그 주장을 펼치는 데 도움을 준 사람들 중 한 명인 Nick Cammarata(전 OpenAI)는 이제 그것이 대부분 틀렸다고 말합니다. 고양이/자동차 뉴런요? 그것은 V자형 감지기입니다: 뾰족한 고양이 얼굴, 뾰족한 자동차 그릴입니다. 초기 모델의 "혼란"은 네트워크가 근본적으로 잡동사니를 함께 포장했기 때문이 아니라, 약한 아키텍처와 버그가 있는 시각화 도구에서 비롯된 것입니다. 그것들을 고치면 뉴런들은 깨끗해집니다. 뉴런들이 몇 가지 것을 포괄하는 경우, 그것은 보통 무작위 혼합 때문이 아니라 훈련 과정에서 관련 있는 것들로 분기했기 때문입니다. 그의 팀의 초기 추정치에 따르면, 최신 Qwen3 32B 언어 모델의 뉴런 중 약 90%가 하나의 주요 임무를 가지고 있으며, 이는 Kimi K3의 수조 개 매개변수 규모까지 훨씬 더 큰 모델에서도 유사한 결과를 보입니다. 그는 심지어 규모가 커짐에 따라 이러한 특징 분리가 더욱 명확해진다고 제안합니다.

이것이 중요한 이유: 만약 이 방법이 유효하다면, 우리는 AI 모델을 디코더를 역설계하는 것이 아니라, 어떤 자연 시스템을 연구하듯이 직접 연구함으로써 이해할 수 있을지도 모릅니다. 더 큰(Bigger) 모델일수록 뉴런들이 더 전문화되어 있어서 실제로 읽기 쉬워지는 경향이 있습니다. 그리고 AI 에이전트가 이제 이러한 조사 작업을 대규모로 수행할 수 있게 되었기 때문에, 저자는 최첨단 모델(frontier models)이 수십 년이 아닌 몇 달 안에 광범위하게 이해 가능해질 것이라고 생각합니다. 안전성 측면에서 이는 매우 큰 문제입니다. 정렬(alignment)이 왜 어려운지에 대한 대부분의 주장은 우리가 모델 내부를 볼 수 없다고 가정합니다. 만약 우리가 볼 수 있다면, 우리는 문제점들(예: 기만적 추론이나 잘못된 훈련 환경)을 발견하고 사전에 모든 것이 완벽할 것이라고 기대하는 대신 목표 지향적인 수정(targeted fixes)을 할 수 있습니다. 이 글이 길다는 것을 알지만, 저는 그들의 다가오는 기술 논문이 해석 가능성(interpretability)과 신경망에서의 학습 분야(특히 비전 모델)에서 중요한 연구가 될 것이라고 생각합니다. 설령 읽지 않더라도, 상호작용 시각화와 네트워크 아키텍처 분석은 분명히 5~10분 정도의 가치가 있습니다. 특히 페이지 맨 아래쪽에 있는 것들이요. 논의해 봅시다! 제출자 /u/returnity [링크] [댓글]