ICA Lens: 별도의 사전(Dictionary) 학습 없이 언어 모델을 해석하기

언어 모델 표현(representation)에서 해석 가능한 방향(interpretable directions)을 찾는 것은 모델의 동작을 이해하고 제어하는 데 매우 중요합니다. 희소 오토인코더 (Sparse Autoencoders, SAEs)는 이 목적을 위한 표준 도구가 되었지만, 이를 기본 렌즈(lens)로 사용하려면 종종 거대한 과완전 사전 (overcomplete dictionaries)을 학습, 저장 및 평가해야 합니다. 이러한 병목 현상은 신속한 탐색을 제한하며 근본적인 질문을 던집니다: 또 다른 신경망 사전(neural dictionary)을 학습하기 전에, 활성화 기하학 (activation geometry)으로부터 이미 얼마나 많은 해석 가능한 구조를 볼 수 있는가? 우리의 직관은 간단합니다: 많은 해석 가능한 방향은 토큰에 대해 선택적이며, 이러한 방향은 무작위 방향보다 덜 가우시안 (Gaussian) 형태를 띨 것입니다. 따라서 우리는 비가우시안 (non-Gaussian) 방향을 찾는 고전적인 방법인 독립 성분 분석 (Independent Component Analysis, ICA)을 언어 모델 해석 가능성을 위한 압축된 렌즈로서 재조명합니다. 우리는 LLM 해석 가능성 측면에서 ICA가 과소평가되어 왔음을 발견했습니다. 왜냐하면 이전의 사용 사례들은 LLM 활성화 값에 취약한 기성 ICA 구현체에 의존하는 경우가 많았고, 회복된 방향을 검사하고 평가하기 위한 체계적인 도구가 부족했기 때문입니다. 이러한 격차를 해소하기 위해, 우리는 LLM 표현에 대한 안정적이고 효율적이며 감사 가능한(auditable) ICA 분석을 위한 최초의 실용적인 워크플로우인 ICALens를 소개합니다. 이는 최적화된 GPU 병렬 FastICA 파이프라인을 LLM 특화 안정성 레시피 및 더 나은 피팅 진단 도구와 결합하여, 효율적이고 신뢰할 수 있는 계층별 (layer-wise) 분석을 가능하게 합니다. GPT-2 Small, Gemma 2 2B, 그리고 Qwen 3.5 2B Base 전반에 걸쳐, ICALens는 계층별 경사 하강법 기반의 사전 학습 없이도 압축적이고 인간이 해석 가능한 방향을 효율적으로 회복합니다. SAEBench에서 ICA는 희소 프로빙 (sparse probing) 측면에서 공개된 SAE들과 경쟁할 만한 수준이며, 소규모에서 중규모 예산 하의 타겟 프로브 섭동 (targeted probe perturbation)에서는 SAE보다 뛰어난 성능을 보입니다. 이러한 결과는 ICA를 약한 베이스라인으로 볼 것이 아니라, 언어 모델 표현을 탐색하기 위한 효율적이고 상호 보완적인 첫 번째 렌즈로 간주해야 함을 시사합니다.