LLM 해석 가능성을 위한 패치 효과 그래프 커널

요약

본 논문은 LLM의 작동 방식을 해석하는 메커니즘적 해석(Mechanistic Interpretability) 분야에서 발생하는 고차원적이고 비정형적인 활성화 패치 데이터를 체계적으로 비교하고 분석할 수 있는 새로운 프레임워크를 제안합니다. 이 프레임워크는 활성화-패칭 프로파일을 모델 구성 요소에 대한 '패치 효과 그래프(patch-effect graphs)'로 재구성하여, 이를 그래프 커널 기법으로 분석합니다. 실험 결과, 이러한 그래프 구조가 차별적인 구조적 신호를 보존하며, 특히 국소화된 엣지-슬롯 특징이 높은 분류 정확도를 보여주어 LLM의 인과 회로를 비교하고 평가하는 강력한 방법을 제시합니다.

핵심 포인트

• 메커니즘적 해석을 그래프 머신러닝 문제로 재정의하여, 활성화 패칭 데이터를 구조화된 '패치 효과 그래프'로 표현한다.
• 세 가지 그래프 구성 방법(직접 영향, 부분 상관관계, 공동 영향)을 도입하고 그래프 커널을 적용하여 분석의 깊이를 더했다.
• 그래프 특징이 원시 텐서나 표면적 단서보다 구조화된 패칭 신호를 압축적으로 보존하며 우수한 성능을 보인다.
• 제안된 프레임워크는 강력한 통제 기준선(prompt-only, raw patch-effect controls)과 비교하여 회로 수준의 주장을 명확히 검증할 수 있는 평가 파이프라인을 제공한다.