효율적인 회로 추출을 위한 희소 가중치 분해 (Sparse Weight Decomposition)

요약

사전 학습된 트랜스포머 모델의 회로 추출을 효율화하기 위한 '희소 가중치 분해(SWD)' 방법론을 제안합니다. 별도의 모델 훈련 없이 가중치 행렬을 두 개의 희소 인자로 분해하여, 기존 방식보다 훨씬 적은 데이터로도 높은 충실도를 유지하며 해석 가능한 회로 단위를 추출할 수 있습니다.

핵심 포인트

• 가중치 행렬을 두 개의 희소 인자로 재매개변수화하여 회로 추출 효율성 증대
• 기존 베이스라인 대비 1% 미만의 데이터만으로도 유사한 충실도 달성
• GPT-2, Qwen2.5, Qwen3.5-27B 등 다양한 모델에서 성능 검증
• 데이터가 없는 상황에서도 기계론적 해석 가능성 분석 지원 가능