신경망을 먼저 분해하거나 재구성하지 않아도, 원래 뉴런과 회로를 직접 연구해 이해할 수 있다는 가설 . 무관한 개념이 뒤섞여 보이던 사례 상당수를 공유 패턴과 관찰 도구의 오류로 재해석
고양이 얼굴과 자동차 앞부분에 함께 반응하던 유명한 뉴런은 두 대상의 공통된 V자 형태 를 감지한 것으로 해석. 자동차 정보를 개 뉴런에 숨겼다고 보던 회로도 공유 자세를 처리하는 구조였음
뉴런의 역할은 관련 패턴을 따라 가지처럼 확장되는 ‘재귀적 일반화’ 로 설명 가능. iy
를 감지하던 뉴런이 diy
, 다시 do it yourself
에도 반응하는 식
도구와 아키텍처를 개선한 ConvNeXt에서는 마지막 층 뉴런의 약 99%를 해석 . Qwen3-32B 초기 조사에서도 약 90%가 하나의 주된 역할과 관련된 곁가지를 가진 것으로 추정
완벽한 특징 목록을 먼저 만들기보다, AI 에이전트가 원래 회로를 탐색하고 가설을 실험으로 검증 하는 방식을 제안. 이해가 쌓일수록 주변 회로도 읽기 쉬워져 연구를 확장할 수 있다는 전망
핵심 가설과 ‘중첩’의 구분
수개월간 이미지 모델과 언어 모델을 조사한 결과, 네트워크 자체의 메커니즘 을 읽고 실험하는 접근이 연구진의 예상보다 잘 작동함
뉴런, 연결, 데이터 흐름을 관찰하고 설명을 검증하는 정상과학 방식과, 가정한 특징을 재구성 목적함수로 추출하는 방식을 구분함
후자의 접근은 원래 네트워크가 실제로 뒤엉켜 있다면 필요할 수 있지만, 이를 출발점으로 가정할 근거는 약하다고 봄
재귀적 일반화(recursive generalization) 는 뉴런이 관련된 여러 방향으로 가지를 뻗으며 역할을 확장하는 현상임
각 확장은 국소적으로 이해할 수 있어도 여러 단계를 거친 최종 역할은 하나의 인간 개념으로 묶기 어려울 수 있음
iy
를 감지하던 뉴런이 diy
, 이어 iy
가 없는 do it yourself
까지 반응 범위를 넓힌 사례가 있음
Multimodal Neurons 의 결합 특징 관찰과 이어지지만, 이번에는 학습 중 가지가 계속 성장하는 과정을 확인함
여기서 문제 삼는 중첩(superposition) 은 서로 드물게 간섭한다는 이유로 무관한 계산을 같은 뉴런에 넣는 ‘임의 압축 저장’임
일반화는 공유 패턴과 국소적 유사성 때문에 대상을 묶고, 중첩은 서로 무관해 충돌이 적다는 이유로 묶는다는 차이가 있음
늘어진 개 귀의 다양한 각도를 묶는 것과, 개 귀와 라틴어 시를 함께 담당하는 것은 서로 다른 예측을 만듦
‘차원보다 특징이 많다’는 정의는 별개임. 읽기 쉬운 뉴런들의 조합만으로도 차원 수보다 많은 패턴을 표현할 수 있음
특징(feature) 이라는 말에는 사람이 관심을 갖는 패턴, 모델이 학습한 구성 요소, 사전의 항목이 섞여 있음
겉보기 다의성(polysemanticity) 의 원인을 다섯 가지로 구분함
도구 부족 으로 관찰 수단의 해상도가 낮음
불충분한 관찰에 근거해 잘못된 설명을 붙임
아키텍처나 데이터에 따른 학습 문제가 있음
재귀적 일반화로 관련 방향으로 가지를 뻗음
중첩으로 무관한 대상을 함께 저장함
따라서 이해되지 않는 뉴런을 곧바로 중첩의 증거로 취급하지 않고, 다른 원인을 먼저 시험해야 함
‘신경망은 깔끔하다’는 모든 모델을 감사한 결과가 아니라 생성 원리에 관한 가설 임
조사한 이미지 모델에는 임의 압축이 없다는 데 상당히 확신하지만, 수조 매개변수 모델까지 증명한 것은 아님
약 85%라는 확신은 ‘기제의 85%가 깨끗하다’는 수치가 아니라, 거의 모든 기제가 조직적인 일반화와 조합으로 형성된다는 가설에 대한 주관적 확신임
모든 뉴런이 인간 개념 하나와 일대일로 대응한다는 뜻도 아님
시각 모델의 대표 중첩 사례를 다시 조사한 결과
InceptionV1의 4e:55
는 고양이 얼굴과 자동차 앞부분에 함께 반응해 뉴런이 적절한 연구 단위가 아닐 수 있다는 근거로 쓰였음
Feature Visualization 과 Zoom In 의 사례를 재검토하자 공통점은 V자 형태였음
연결 대상에는 V자 불꽃, 소방선의 물줄기, 여우 얼굴도 있었으며, 음의 극은 뾰족한 V와 대비되는 둥근 O 형태였음
시각화에 고양이 수염이 나타난 것은 고양이 회로를 입력으로 받기 때문으로 해석함
자동차를 읽는 후속 뉴런에 일부 고양이 신호가 전달돼도 최종 출력 영향은 거의 없었고, 이를 상쇄하는 음수 가중치도 필요하지 않았음
2019년에 발견해 중첩의 대표 근거로 사용했던 자동차 → 개 → 자동차 회로 에서도 숨긴 정보를 복원하는 후속 메커니즘을 찾지 못함
자동차와 개가 공유하는 자세를 감지하는 회로였으며, InceptionV1에는 물체 종류를 가로질러 자세를 감지하는 뉴런이 100개 이상 있었음
자동차 정보는 숨겨진 저장소로 이동한 것이 아니라 자동차 전문 감지기와 더 세밀한 자세로 분화했음
당시 직접 본 회로는 하나였으며, 연구진이 아는 범위에서는 같은 조건을 충족하는 다른 실제 중첩 회로가 이후 발견되지 않았음
후기 층의 특징 시각화에는 보상 해킹 이 있었음
활성화를 최대화하는 경사하강법은 실제 이미지가 주로 쓰는 경로가 아니라 가장 쉬운 경로를 선택할 수 있음
개 이미지와 관련 뉴런이 많은 InceptionV1에서는 자동차 정보를 전달하는 뉴런도 개 이미지로 시각화됐음
강한 자연 이미지가 사용하는 경로로 최적화를 유도하자 해당 뉴런 네 개 중 두 개는 자동차, 두 개는 자동차/개의 공유 자세를 나타냈음
초기 64단계만 유도해도 충분한 경우가 많았지만, 한 경로의 시각화는 뉴런 기능의 일부만 보여줌
공유 자세는 단순한 모델 용량 부족 만으로 설명되지 않음
InceptionV1보다 10배 이상 큰 DINOv2 에서도 여러 물체에 걸쳐 일반화된 자세 뉴런이 나타남
ConvNeXt 중형과 대형은 개와 차량을 카메라 방향에 따라 묶었으며, 매우 작은 모델은 자세 구분 없이 더 거칠게 묶었음
사람과 자동 해석기가 뉴런을 명사 집합으로 설명하려는 편향 때문에 공유 형태나 자세를 놓칠 수 있음
도구와 아키텍처 개선 은 InceptionV1 후기 층의 해석 가능성을 크게 바꿈
당시 도구로 본 원래 모델의 마지막 층은 약 05%, 개선한 특징/기여도 시각화로는 약 50%가 해석 가능했음
원래 구조에 현대적인 정규화를 적용해 재학습하면 약 70%, 같은 규모의 ConvNeXt에서는 약 99%에 도달함
잔차 연결과 LayerNorm 등이 깊은 층의 학습과 개념적 명료성을 함께 개선했을 가능성이 있지만, 인과관계는 확정하지 않음
원래 2014년 모델의 체크포인트와 학습 세부사항이 유실됐다는 제약이 있음
개선한 모델은 탐색용 인터페이스 에서 확인할 수 있음
학습 과정을 추적하면 혼란스러운 뉴런도 가까운 특징을 따라 이동하거나 분기 했음
InceptionV1 뉴런 338은 유채밭과 계곡에서 시작해 테니스공, 초록 과일, 털이 덥수룩한 개, 브로콜리로 확장됐음
같은 조건의 ConvNeXt 뉴런 399도 잠시 공과 과일에 반응했지만 이를 버리고 유채밭 중심의 역할을 유지함
다른 뉴런은 자동차에서 돔, 개선문 등으로 이동했으며, 완성된 모델만 보면 연결 과정이 사라져 임의 혼합처럼 보일 수 있음
학습 과정 탐색 도구 를 제공하며, 발표 직전에는 시각화 확대 설정 오류를 실제 혼합으로 오판한 사례도 있었음
후기 층 전체에서도 조직된 조합 회로 를 관찰함
수도원은 돌벽, 지붕/아치, 종탑, 성 관련 구분을 거쳐 형성됐음
무당벌레는 점/구멍, 붉은 점무늬, 점박이 표면, 딱정벌레 구분을 사용함
견인차는 긴급 차량, 트럭 앞면, 붐/기계, 크레인/지게차 관련 경로를 사용함
딸기는 점/버튼, 복잡한 무늬, 광택 있는 붉은 음식과 점박이 표면을, 흰동가리는 줄무늬와 산호초 물고기 등의 경로를 사용함
다섯 회로 모두 블록 1418의 선택된 연결을 보여주며, 라벨은 잠정적 시각 해석임. 일부 이미지 선택과 연결 부호는 일관되지 않아 완전한 회로 증명으로 볼 수 없음
압축, 희소 오토인코더, 약한 활성화 실험
ConvNeXt 세 규모 를 학습해 용량과 구분 수준의 관계를 조사함
소형 9만 2,000개, 중형 706만 개, 대형 2,860만 개 매개변수로 약 300배 범위를 비교함
큰 모델은 차종과 시점까지 구분하고, 작은 모델은 자동차나 지상 운송수단 같은 넓은 범주에서 분화를 마침
뉴런은 무엇을 감지하는지뿐 아니라 무엇을 통과시키고 차단하는지라는 제어 흐름으로 이해할 필요가 있음
음의 극 은 양의 극만큼 중요한 구분을 담음
큰 모델의 후기 뉴런은 택시/구급차, 브로콜리/콜리플라워, 저어새/플라밍고 등을 구분함
작은 모델에서는 지상 운송수단이 양의 쪽, 배/비행기와 물 위의 소 수레가 음의 쪽에 놓였음
ReLU처럼 음수를 잘라도 활성화된 상황의 개별 입력은 기울기를 받으므로 음의 쪽 구분도 학습될 수 있음
음의 극은 보편적인 반대 개념이 아니라 해당 회로에서 걸러야 할 대상을 나타내며, 뉴런 반응 부호와 후속 효과의 부호는 다름
InceptionV1의 초기 3b
채널을 480개에서 10개로 압축 하고 우회 경로 없이 재학습했지만, 뉴런은 여전히 해석 가능했음
곡선 검출기 여러 개 대신 ‘곡선과 고리’ 하나가 생기는 식으로 구분이 거칠어졌음
잠정적 역할은 어두운 원, 빨강, 노랑, 기울어진/수직 경계, 눈과 얼굴, 곡선과 고리, 원, 고주파, 다채로운 무늬였음
별도 ImageNet 이미지 5만 장에서 top-1 정확도 58.35%, top-5 정확도 81.14%를 기록함
중형 ConvNeXt의 마지막 층을 1,024개에서 13개 뉴런으로 줄이고 잔차 우회를 막아도 비슷하게 반응 범위가 넓어졌음
압축 층의 희소 오토인코더(SAE) 는 원래의 선명한 곡선 검출기를 복원하지 못함
640개 특징과 위치당 활성 특징 2개를 사용한 SAE는 보류 데이터 분산의 82%를 설명했지만, 모델에 삽입하면 별도 검증 1만 장의 정확도가 58.8%에서 43.0%로 하락함
원래 검출기의 반응 폭은 2456도, 대응 SAE 특징은 44174도로 넓었고 반대 방향에도 반응함
약한 특징까지 허용하면 형태가 더 비슷한 것을 찾을 수 있었지만 실제 사진에서의 대응은 더 나빠졌음
원래 층에서는 SAE가 선명한 검출기를 복원했으며, 압축 층에서는 비선형 판독과 여러 SAE 설정을 바꿔도 결과가 비슷했음
The Missing Curve Detectors of InceptionV1 의 SAE 곡선도 조사 범위에서는 기존 곡선 뉴런들의 조합 으로 분해됐음
곡선 활성만으로 학습한 사전은 10만 항목 중 8만 4,000개를 사용했으며, 많은 조합을 기본 구성 요소의 증가로 오인할 수 있음
일반적인 SAE 탐색에서도 뉴런은 부품, SAE 특징은 맥락별 부품 묶음에 가까웠음
거미 사례에서 뉴런은 다리 패턴과 거미줄, SAE는 여러 환경 속 거미를 나타냄
SAE는 개별 이미지 파악과 가장 작은 모델에서 유용했지만, 뉴런에 없는 근본 요소를 찾지는 못함
마지막 층에서는 SAE 활동의 88%가 단일 뉴런의 거의 복제본 에 해당했음
어떤 뉴런과도 대응하지 않는 사전 방향을 제거해도 정확도는 변하지 않았고, 답이 바뀐 소수 사례는 원래 거의 동률이었음
추가 특징은 ‘수면에 있는 동물’, ‘색이 옅고 덩어리진 음식’처럼 기존 뉴런을 느슨하게 묶은 형태였음
활동을 소수 유닛에 집중시키는 회전을 탐색하면 모든 블록에서 다시 뉴런 축에 도달함
중형 ConvNeXt 18개 블록에서 가장 약한 활성화 75% 를 제거하면 정확도는 72%에서 71%로 줄었지만, 같은 총활성화량의 가장 강한 7%를 제거하면 4%로 떨어짐
답이 바뀐 비율은 각각 10%, 96%였음
약한 응답 제거는 주로 원래 혼동하던 근소한 판정을 뒤집었으며, 관련 뉴런도 의미적으로 연결돼 있었음
소형/대형 모델도 약한 응답 제거에 내성을 보였지만, 제거 범위를 9599백분위까지 확대하면 성능이 크게 하락함
ConvNeXt 실험은 SwiGLU 곱의 크기를 기준으로 하며 잔차 우회 경로를 유지함
InceptionV1 마지막 층도 강한 양의 활성 약 4분의 1만 남겼을 때 정확도 70.08%에서 69.47%를 유지함
희귀 사례와 이상 입력 도 조사 범위에서는 기존 의미 회로를 사용함
트리케라톱스처럼 희귀한 클래스는 오히려 적은 뉴런에 통합됐으며, 약한 응답 제거가 특정 희귀 클래스만 무너뜨리지는 않았음
벌새를 아이스크림, 거대한 바나나를 아치형 공간으로 오인한 사례도 일반 뉴런의 기여로 설명됐음
트리케라톱스 두개골을 재규어로 오인하게 만든 적대적 예제는 두개골 뉴런을 억제하고 실제 재규어가 사용하는 회로를 동원함
이런 표본 관찰을 모든 약한 활성화에 일반화할 수는 없으며, 의미 공간 전체를 신뢰성 있게 검사하는 방법은 아직 없음
언어 모델의 뉴런과 인과적 회로 검증
Qwen3-32B의 해석 비율은 잠정적 이며, 평가 조건에 민감함
초기 추정에서 뉴런 극의 약 90%는 하나의 주된 역할과 작은 관련 가지, 약 7%는 관련된 두 역할, 약 24%는 미해석 상태였음
무작위 뉴런 1,000개 상세 조사에서도 약 90%가 대체로 하나의 역할과 관련 가지를 가졌음
강한 활성화를 더 자세히 본 작은 표본에서는 비임의적 혼합 비율이 약 97%였음
활성화 문턱값, 깊이, 회로 밀도, 관련 역할을 하나로 묶는 기준에 따라 달라지므로 확정 점수나 직접 최적화할 목표가 아님
언어 뉴런은 명사보다 감정, 사회적 단서, 문맥 요약 을 추적하는 경우가 흔했음
저렴하게 산 제품이 비싼 대안보다 잘 작동할 때 느끼는 정당함을 감지하는 뉴런은 명사보다 쉼표나 다음 예측 직전 단어에서 강하게 활성화됨
‘다의적 쉼표 뉴런’으로 분류된 다른 뉴런은 Denver, 전화번호, 속어 등 Colorado 문맥을 누적했으며, 조종하면 하이킹 계획을 생성함
이 요약 모티프(summary motif) 를 알면 정보가 언급된 위치와 활성화 위치가 다른 이유를 이해할 수 있음
겉보기 무관한 반응도 인코딩, 문맥 범위, 다음 토큰 을 확인하면 연결되기도 했음
pr
뉴런의 Base64 URL은 디코딩하면 pr
단어였고, 벵골어 반응도 번역이나 전사로 연결됐음
두 문단으로 문맥을 제한하자 긴 문맥을 쓰는 뉴런이 다의적으로 보였고, 데이터 범위가 좁을 때는 건강 관련 SEO 스팸의 특정 징후도 놓쳤음
Titanic 뉴런의 일부 반응은 다음 boat
를 예측하는 경우였지만, 앞선 문맥만 보는 도구가 이를 놓쳤음
지질학 뉴런의 Cesium/IDL 코드 반응은 관련 소프트웨어라는 별도 입력 가지로 연결됐으며, 코드 출력과 우주 뉴스 출력에 서로 다른 영향을 줌
Srinivasen과 UniProt의 연결처럼 그럴듯한 관계는 있지만 실제 이유가 확정되지 않은 사례도 남아 있음
Claude 3.5 Haiku의 의료 진단 회로 와 비슷한 구조를 Qwen3-32B의 원래 뉴런 으로 구성함
Qwen 분석에는 추가 학습이나 재구성 손실이 없으며, 진단 허브 뉴런 4개를 제거하면 임신 중 다른 간 질환과 관련된 가려움증을 질문함
비교 대상인 Crosslayer Transcoder 방법론 은 가장 큰 모델도 다음 단어 예측이 원본과 일치하는 비율이 약 절반이고 오류 노드를 사용함
두 그래프는 가중치 표시, 그룹화, 생략한 작은 그룹이 달라 시각적으로 완전히 동일한 비교는 아님
뉴런 제거 실험 은 이름과 설명을 실제 출력 변화에 연결함
Lion King 단서에서 Scar를 추론할 때 관련 뉴런 18개를 제거하면 Simba를 답했으며, P(Scar)
는 0.24, 같은 층 무작위 제거는 0.91이었음
Santa 관련 음의 극 뉴런 8개를 제거하면 가족 반려동물을 지목했고, P(Santa)
는 0.059, 무작위 제거는 0.997이었음
Christmas/Santa라는 이름이 붙은 뉴런 20개만 제거하면 확률은 76%로만 떨어져, 양의 top-k 이름만으로 중요한 회로를 찾기 어려움
예산 유출 문제에서 완곡 표현 뉴런 19개를 제거하면 Marcus를 단정했으며, most
와 likely
의 다음 토큰 확률 합은 0.23, 무작위 제거는 0.76이었음
시계 도난 문제에서 “say not” 뉴런 25개를 제거하면 근거 없는 Anna 지목에 반박하지 않았고, P(Anna)
는 0.92, 무작위 제거는 0.66이었음
Kimi-K3 에서도 원래 MLP 뉴런으로 기여도 그래프를 구성함
500달러와 소유자 신분증이 든 지갑을 주운 상황에서 분실물, 정직성, 돌려주기 관련 경로가 연결됐음
답변 억제 뉴런 하나를 제거하면 P(return)
가 0.83에서 0.98로 올랐고, 무작위 제거에서는 0.83을 유지함
연구진이 아는 한 수조 매개변수 모델에서 공개된 최초의 기여도 그래프지만, 표시한 12개 그룹은 선택된 일부이며 전체 감사는 시작하지 않았음
SwiGLU의 이중 음수 영역 은 자동 해석 잡음의 큰 원인이었음
a = SiLU(g) × v
에서 음수 게이트와 음수 값의 곱도 작은 양의 출력을 만듦
보통 음의 극과 비슷한 의미를 가진 약한 ‘메아리’지만, 약 4%의 뉴런에서는 양의 최상위 활성화 목록 전체를 차지함
Qwen3-32B의 L1/N20736
은 양의 top-k만 보면 Colossians 성경 구절 뉴런이지만, 게이트가 열린 강한 음의 반응은 여러 문자 체계의 Russia/Russian을 완성하는 토큰이었음
Qwen3.6의 enemy 뉴런도 중간 활성화 잡음 대부분이 음수×음수였고, 강한 반응은 명시적 적대자 표현과 연결됨
해당 영역을 제거하면 대부분의 벤치마크는 개선됐지만 일부 추론 벤치마크는 하락했으며, 더 오래 추론하도록 하는 기능과의 관계는 가설로 남음
MoE 전문가 도 기존 보고보다 전문화돼 있고 깊어질수록 범위가 좁아지는 경향을 보였음
Qwen3.6 전문가 10,240개를 뉴런 요약으로 평가했으며, RPG 보드게임 보스에 집중하는 전문가도 있었음
전문가가 선택돼야 뉴런이 활성화되므로, 무관한 기능을 대량으로 넣으려면 작은 선형 라우터가 그 기능들을 모두 구분해야 한다는 제약이 있음
전문가 수준의 재귀적 일반화와 가중치/뉴런/전문가/회로의 공통 조직 원리는 학습 과정을 확인하지 않은 가설임
설명 검증, 기존 연구 재평가, 잔차 스트림과 어텐션
설명의 예측력 은 새 양성 예시와 근접 반례로 검사함
무작위 뉴런 200개에 대해 에이전트가 설명만 읽고 새 예시와 비슷하지만 반응하지 않아야 할 예시를 각각 5개 작성함
양의 활성 설명이 있는 183개 뉴런에서 강한 반응 비율은 새 예시 76%, 근접 반례 11%였으며, 설명은 164개에서 우세했음
멀리 떨어진 개념으로 만든 추가 예시는 약 1%만 강하게 활성화했고, 183개 중 179개 뉴런은 전혀 반응하지 않음
근접 반례 구분만으로 중첩 부재를 증명할 수는 없으며, 서로 다른 역할이 왜 함께 형성됐는지까지 확인해야 함
Blind maximum 은 다른 에이전트가 설명만 보고 최대 활성화를 유도하는 문장을 만드는 검사임
원래 예시나 뉴런을 보지 않은 에이전트가 100억 토큰 코퍼스의 최대값보다 강한 예문을 만든 경우가 있었음
한 역할의 중심만 검증할 수 있으므로, 입력 기여도를 군집화하고 다른 군집을 제거한 상태에서도 반복함
반려동물 마이크로칩 뉴런에서는 동물 표식, 분실/구조, 마이크로칩/RFID 식별이라는 세 경로를 구분함
이 검사도 전체 범위를 보장하지 않으며, V자 뉴런을 ‘고양이와 자동차’로 설명해도 일반 평가를 통과할 수 있어 가설별 반증이 필요함
과거의 낮은 해석 성과에는 도구, 모델 선택, 평가 기준 이 함께 영향을 줬다고 봄
2023년 OpenAI 자동 해석 연구 는 GPT-2 XL의 2% 미만을 명확히 해석했음
이번 500개 뉴런 조사에서는 약 70%가 대체로 한 역할로 보였지만, 매우 명료한 뉴런은 약 5%였고 나머지는 여러 넓은 역할을 가졌음
평가 방식은 동일하지 않으며, 작은 모델은 현대 모델보다 역할이 넓고 잔여 일반화가 많았음
활성화 시뮬레이션 점수는 의미 이해보다 어텐션의 정보 배치, 크기 변화, 임계값, 희소성을 측정할 수 있어 출발점으로 부적절하다고 봄
Towards Monosemanticity 의 인용/영어 대화/HTTP/한국어 뉴런은 마침표 억제 로 재해석할 여지가 있음
대부분의 예시가 마침표 부근에서 활성화되고, 강한 음의 로짓 연결 10개 중 8개가 마침표로 시작함
한국어 반응은 미완성 음절에서 마침표를 억제하는 기능일 수 있지만, 별도의 관련 구문 기능일 가능성도 남음
원래 모델이 없어 더 좁게 검증하지 못했으며, 한 기능인지 두 관련 기능인지 확정하지 않음
Qwen3.6의 유사 뉴런은 제거한 강한 활성화 시험 30개 모두에서 다음 마침표 가능성을 높였음
Softmax Linear Units 의 결과도 분산 표현과 임의 혼합을 구분 해 볼 필요가 있음
원 연구 자체도 중첩 증거가 적고 정황적임을 명시했음
연구진은 SoLU가 분산 활성을 억제하고 LayerNorm이 성능을 회복하는 현상을, 무관한 특징의 혼합보다는 분산 표현의 증거로 해석함
약한 활성화에서는 여러 의미가 함께 변하므로 두 해석을 구분하기 어려움
잔차 스트림의 패킹 을 완전히 배제하지는 못했지만, 조사에서는 실질적인 해석 병목이 아니었음
뉴런이 쓰고 읽는 내용을 추적할 수 있었고, 간섭을 쌓았다가 후속 계산에서 해소하는 모습은 관찰하지 못함
ConvNeXt 시각화가 거대한 호 하나로 보인 원인은 읽히지 않는 큰 좌표가 기하를 지배했기 때문이었음
이 좌표는 LayerNorm을 통해 다른 차원의 크기를 조절하는 현저성 신호로 작동할 수 있으며, 시각화에서만 제외하자 구조가 드러남
언어 모델에도 같은 보정이 필요한지는 모름
잔차 스트림 지도와 압축 실험 에서도 관련 대상을 따라 조직된 변화가 나타남
색상별로 출발한 이미지 위치 중 동물 얼굴은 점차 모이고, 처음 함께 있던 붉은 패치는 서로 다른 대상으로 분화함
군집 선택 때문에 한쪽 끝의 모임은 구성상 보장되지만, 반대쪽 끝의 변화는 원래 공간의 최근접 이웃으로도 확인함
뉴런 수를 유지하고 스트림 너비를 4분의 1과 8분의 1로 줄이면 정확도는 72%에서 60%, 39%로 하락했으나 지도는 비슷한 구조를 유지함
물 위의 어두운 새가 악어와 헤엄치는 개로 확장되는 식의 잡음이 나타났으며, 무관한 시계로 확장되지는 않았음
전체 특징 목록이 필요하다면 뉴런의 읽기/쓰기 방향이나 Block Sparse Featurizer 의 연속 부분다양체에서 시작할 수 있음
어텐션은 뉴런보다 덜 이해됐지만 , 이를 곧바로 다른 학습 원리의 증거로 볼 수는 없음
어디를 보는지, 무엇을 찾는지, 찾으면 무엇을 하는지, 왜 그러는지로 질문을 나눔
자간전증 사례에서는 사실을 she
에 모으고, 두통 관련 뉴런을 읽어 쉼표 위치의 자간전증/고혈압 뉴런에 전달했음
관련 헤드 세 개를 제거하면 자간전증 활성화가 약 4분의 1 줄었지만, 통증을 보지 못하게 한 개입은 변화가 없었음
전역적인 헤드 이름보다 해당 그래프 안에서 읽는 뉴런, 영향을 주는 뉴런, 주시 위치를 함께 보는 방식이 유용했음
헤드 이름이 추가로 설명할 몫을 약 5%로 추정했지만 크게 틀릴 수 있으며, 개별 헤드와 여러 헤드 묶음 중 적절한 연구 단위도 미정임
Progress on Attention 의 여러 헤드가 계산을 공유한다는 해석에는 동의하며, 이것이 임의 압축과 같은 현상인지는 별도 문제임
암기와 일반화가 기존 회로를 사용하는 방식
암기와 잘못된 라벨 학습 에서도 기존 회로를 재사용하는 사례가 나타남
706만 매개변수 모델에 우산 사진을 벌로 학습시키자 9단계 동안 예측이 우산 → maypole → 벌로 바뀜
우산 뉴런 활성은 줄고 기존 벌 뉴런이 켜졌으며, 변화 대부분은 마지막 세 블록에 집중됨
해당 블록만 원래 모델에 이식해도 벌이라고 답했음
무작위 잡음과 무작위 레이블을 학습한 모델도 고주파 잡음과 비슷한 양털/먼 나무 질감을 일부 활용했지만, 모델 전체를 감사한 결과는 아님
이름과 문구 도 관찰 범위에서는 일반화와 조합으로 처리됐음
초기 철자 조각들이 Miyazaki 뉴런으로 모이고, 여러 문자 체계와 의미에서 이름을 인식해 spirited away
같은 연상으로 이어짐
Finding Neurons in a Haystack 의 Social Security 탐침은 정확한 검출을 했지만, 구성 뉴런은 단어 형태, 이름 이어 쓰기, 구절 틀 채우기 역할이었음
탐침의 홀드아웃 AUC는 1.00이었으나 세 뉴런 제거의 평균 다음 토큰 영향은 −0.004 nats로 작았음
실제 다음 토큰 선택은 어휘, 양식 필드, 노후 관련 의미, 출력 신호의 경로를 사용해, 잘 검출되는 방향과 모델이 실제 사용하는 방향이 같지 않았음
Poe 암송 회로 는 직접 출력보다 후속 계산을 유도하는 방식으로 작동했음
Once upon a midnight
다음 dreary
의 첫 토큰 확률은 Poe 뉴런 제거 시 87%에서 50%로 줄었지만, 직접 출력 기여만 제거하면 85%였음
Poe 뉴런은 문학적 맥락 뉴런을 활성화하며, 해당 뉴런 제거 시 확률은 70%로 낮아짐
Poe 제거 후 하류 문학적 맥락을 복원하면 57%로 부분 회복됐으며, 연결도는 한 프롬프트에서 선택한 일부임
비정상적으로 높은 게이트 활성 을 차단하면 암송이 무너지는 사례가 있었음
일반 텍스트의 99.9백분위수를 넘는 게이트에서 출력을 0으로 만들자 Psalm 23을 정확히 암송하던 모델이 해당 문헌을 허구라고 답함
미국 독립선언문 도입부 대신 1999년 필리핀에서 독립한 가상의 Republic of Luzang 선언문을 생성하기도 했음
개수나 크기를 맞춘 무작위 개입에서는 원래 구절이 유지됐지만, 이 개입은 암송만 선택적으로 제거하지 않았고 코딩 등 다른 답변도 저하시킴
첫 단계부터 일반화가 일어난다 는 설명은 기존 학습 연구와 연결됨
Arpit 등의 연구 는 실제 패턴을 먼저 배우고 무작위 레이블을 나중에 맞추는 현상을 보였음
Coherent Gradients 에서는 유사 사례의 업데이트가 누적돼 여러 사례에 도움이 되는 변화가 빨리 성장함
래브라도 사진 한 장만 학습한 모델도 어두운 색과 초록색을 통해 다른 잔디 위 개 사진에 높은 점수를 줬음
10종을 한 장씩 학습한 실험은 새 사진 정확도 약 20%로 무작위 10%보다 높았지만, 색상 최근접 비교의 23%보다 낫지는 않았음
형태보다 색상 전이가 주효했으며, 성능은 학습 사진 자체를 익히는 첫 수십 단계부터 나타남
Grokking은 예외 이며, 모든 과제에서 일반화가 먼저 우세한 것은 아님
Circuit Racing 은 기존 모델의 선점 효과를 별도 네트워크 간 경쟁으로 시험함
Flowers-102에서 두 모델 중 하나가 성공해도 충족되는 공유 손실로 240에포크, 시드 3개를 학습함
같은 710만 매개변수의 무학습 모델은 단독 정확도 약 48~50%였지만, 사전학습 모델과 경쟁하면 약 2%에 그침
사전학습된 710만 모델과 2,860만 모델의 경쟁에서도 작은 모델은 시드 두 개에서 2% 미만으로 떨어졌고, 하나에서는 약 64%를 유지함
회로 내부 경쟁을 직접 측정한 실험은 아니지만, 먼저 유용한 계산이 학습 기회를 차지할 수 있음을 보여줌
회로 생태계 가설과 장난감 모델의 한계
회로 생태계(circuit ecology) 가설은 기존 구성 요소와 이를 읽는 회로를 재사용하는 계산이 더 빨리 학습해 남은 오차를 차지한다고 봄
iy
뉴런은 이미 diy
에 반응하므로 do it yourself
로 확장하는 데 유리한 출발점이 있음
새 계산은 전용 뉴런 없이 기존 기제의 국소 확장이나 조합으로 시작할 수 있음
자동차 뉴런처럼 별도 단위로 통합되는 것은 택시/구급차 같은 후속 전문 기제가 찾아 성장할 보호된 지점과 셸링 포인트(Schelling point)를 제공할 수 있음
기울기 고갈 , 학습 속도, 재사용 이익을 중시하는 설명이며 완성된 이론은 아님
희귀 사실 도 무관한 공간에 압축되기보다 관련 회로 사이의 작은 경로로 남을 수 있다는 가설임
손실 기여가 작아 독립적인 적소를 유지하기 어렵기 때문임
검증 가능한 예측은 희귀 사실을 전달하는 뉴런과 헤드가 그 주제와 관련돼 있어야 한다는 것임
모델이 커지고 회로가 강해질수록 관련 계산을 기존 적소로 끌어들이는 ‘의미적 중력’이 커질 가능성도 있지만, 이에 대한 확신은 낮음
Toy Models of Superposition 의 실험 결과 자체에는 이의를 제기하지 않음
다만 사전 정의된 독립 특징을 좁은 공간에 넣고 복원하는 과제는 공유의 간섭 비용은 반영해도 후속 계산의 재사용 이익을 충분히 반영하지 못함
실제 특징은 미리 정해진 것이 아니라 성장하고 사용 방식으로 의미를 얻음
무관한 독립 기억이 압축될 수 있다는 점에는 동의하지만, 실제 데이터의 구조와 모델 저장 여력을 함께 봐야 함
장난감 모델의 축 밖 희귀 특징과 실제 뉴런의 혼합 반응은 설명 대상도 다름
상관된 입력과 은닉 뉴런 을 함께 넣은 장난감 실험에서는 관련 입력이 공유 표현으로 성장함
입력 20개를 함께 활성화되는 5개씩 네 그룹으로 만들고, 5차원 병목 뒤에 은닉층을 추가함
활성 빈도가 높아지면 그룹의 공유 방향을 사용하는 PCA 유사 해법으로 이동함
확장한 TensorFlow Playground에서도 여러 과제가 대각선 띠를 감지하는 뉴런을 재사용했으며, 이를 단순한 압축 저장보다 공통 기하 구조의 학습으로 해석함
압축 코드를 직접 심는 실험 은 예상보다 어려웠음
자동차 → 개 → 자동차라는 과거 해석을 본떠 InceptionV1에 코드를 넣었지만 작은 불일치의 간섭 때문에 작동하지 않는 경우가 많았음
작동하더라도 대체로 의존도가 줄었고 일부만 남음
뉴런이 신호를 복사하기보다 구별을 계산한다는 점도 어려움의 일부였음
경사하강법이 사람보다 미세 조정에 능하므로 이 결과만으로 임의 압축이 불가능하다고 결론 내리지는 않음
재귀적 일반화의 잔여 가지 도 완전히 해결된 문제는 아님
나비넥타이, 나비, 수영복 상의뿐 아니라 구두, 비치백, 슬리퍼에 반응하는 mixed5a:719
처럼 앞선 뉴런 공유로 일부 설명되지만 완전히 이해하지 못한 사례가 있음
관찰한 가지는 대체로 주기능보다 드물고 인과적 중요도도 낮았지만, 모든 심한 다의성을 철저히 검증하지는 않았음
거대 언어 모델에는 성장 과정을 확인할 체크포인트가 없으며, 과도한 가지 성장을 억제하는 압력이 무엇인지도 모름
재귀적 일반화는 의미 공간에서 국소적 기원과 학습 시간상의 성장 순서를 예측하므로 임의 압축보다 구체적으로 반증할 수 있다고 봄
탐색형 해석 가능성과 자동화된 과학 연구
열거형 해석 가능성 은 놓치는 패턴이 없도록 거대한 특징 목록을 만들지만, 여러 의미의 항목이 연결될 때 조합 폭발이 생길 수 있음
탐색형 해석 가능성 은 질문에서 출발해 뉴런, 어텐션, 기여도 그래프를 확대/축소하며 이해를 쌓음
관심 없는 영역은 무시하고, 이해한 주변 회로와 전문가의 주제로 불명확한 뉴런의 설명을 제약함
목표는 모든 뉴런을 완벽하게 단일 의미로 만드는 것이 아니라, 목표 인식, 자신과 타인의 경계, 페르소나 선택 등 관심 질문의 회로 모티프를 이해하는 것임
규모가 큰 모델은 부담도 크지만 더 좁은 역할의 뉴런과 풍부한 주변 단서를 제공해 탐색이 쉬워질 수 있음
연결을 유지하는 추상화(tethered abstraction) 는 고수준 설명을 원래 뉴런과 회로에 계속 연결함
Activation Atlas 에서 영감을 받은 ConvNeXt 지도는 범고래 판단을 고래, 상어/가오리, 사람이 들어 올린 물고기 경로로 확대해 볼 수 있게 함
지도는 시각적일 필요가 없으며 여러 지도와 에이전트가 개별 메커니즘에 근거한 설명을 유지하면 됨
이해 가능한 지도 자체가 검증된 이해는 아니므로, 가설을 세우고 반박하려는 실험이 필요함
엣지 모티프 는 반복되는 연결 패턴을 추상화 단위로 사용함
ImageNet 기여도 그래프 2만 5,000개를 분해해 양의 극과 음의 극을 함께 쓰는 찻주전자 같은 회로를 얻음
엣지 모티프 96개와 활성화 요인 96개를 비교한 제거 실험에서 사용량과 손상의 상관계수 중앙값은 각각 0.35와 0.00이었음
사용량 상위 이미지의 평균 마진 감소 중앙값은 0.86과 0.03 logits였음
찻주전자 모티프는 상관계수 0.800을 기록했지만, 모든 모티프가 양의 관계를 보인 것은 아님
대규모 그래프 감사 는 유망하지만 아직 정성적 증거임
에이전트가 기여도 그래프 10만 개를 검토했고, 연구진은 이미지/언어 그래프 수천 개를 직접 조사함
이상한 공동 활성은 대개 미처 인식하지 못했던 모티프로 풀렸으며, 설명되지 않는 상당한 뉴런 집단을 찾지 못함
도구를 정량적 ‘깔끔함’ 점수로 사용할 만큼 신뢰하지는 않으며, 설득력 있는 반례 하나만으로도 판단을 크게 수정할 수 있음
프로브와 희소 사전은 유용하지만 탐색 이후에 배치 하는 편을 선호함
프로브는 이미 가진 질문에는 답하지만 어떤 질문을 해야 하는지 발견하는 데 한계가 있음
V자 뉴런을 SAE가 자동차와 고양이 특징으로 나누면 오히려 실제 작동의 공통점을 잃을 수 있음
층별 판독과 렌즈는 답이 언제 형성되고 계산이 어디서 달라지는지 조사하는 도구지만, 결과는 렌즈에 의존하며 모델의 ‘진짜 성격’을 검증하지는 않음
Curve Detectors 처럼 뉴런 10개에 40쪽의 실험을 수행해도 모든 반례를 배제할 수 없으므로, 개별 뉴런의 완벽한 증명만을 목표로 삼지 않음
안전상 우려의 중심 을 숨은 작은 활성화보다 눈앞의 구조를 읽지 못하는 문제에 둠
조사에서 발견한 오류는 활성화를 못 본 경우보다 읽는 법을 몰랐거나 도구가 잘못 읽은 경우가 많았음
기만이 출력에서는 숨더라도 모델 내부의 읽는 구성 요소에는 접근 가능해야 하므로, 연구자도 그 경로를 따라 접근할 수 있을 것으로 봄
원래 구조가 읽힌다는 가설이 틀리면 계속 조사하며 수정할 수 있지만, 직접 연구할 가치가 없다는 가설이 틀리면 조사를 중단하게 된다는 비대칭이 있음
자동화된 과학자 실험실 은 학습과 추론 중인 네트워크를 관찰하고, 뉴런 라벨과 모티프를 제안해 검증하는 방식임
연구한 합성곱 모델에서는 지도 작성, 인터페이스 구축, 설명 검증이 진행되며 이해가 누적됐음
수조 매개변수 언어 모델에서도 같은 과정이 작동했지만, 규모 때문에 해결에 가까운 상태는 아님
The Bitter Lesson 에 비춰 정교한 새 분해 기법보다 일반적인 탐구를 대규모로 확장하는 편이 유리할 수 있다고 봄
인간에게 거의 10년 걸린 이해를 자동화 연구자가 수개월 안에 달성할 가능성은 매우 추측적인 전망임
정렬에 대한 적용도 조건부 임
내부 기제를 읽을 수 있다면 완벽한 학습 설정 하나를 미리 고르기보다, 해로운 RL 환경을 제거하는 등의 신중한 수정을 반복할 수 있음
관찰 도구 자체를 통해 기울기를 흘리지 않는 방식을 상정함
뇌에도 비슷한 조직 원리가 적용될 가능성은 신경과학 전문성 없이 한 추측이며, 뇌의 다의성은 반례 후보임
연구 동기에는 안전뿐 아니라 에이전트가 자신을 이해하도록 돕고 싶다는 바람도 있으며, 핵심 가설이 맞을 때 해석 가능성 연구가 더 수월해질 것으로 기대함
댓글과 토론