지속되는 망각: 회로 귀속 (Circuit Attribution)을 통한 양자화-영구적 언러닝 (Quantization-Permanent

요약

본 논문은 언어 모델의 망각(unlearning) 평가가 양자화 환경을 제대로 반영하지 못하는 문제를 지적하며, 4-bit 사후 훈련 양자화(PTQ)가 머신 언러닝 효과를 되돌릴 수 있음을 밝혀냅니다. 연구진은 유의미한 망각을 달성하는 방법들은 압축 하에서 효과를 상실하고, 양자화에서도 살아남는 방법들은 모델 변화가 미미하다는 '이중 실패' 현상을 발견했습니다. 이에 따라 인과적 회로 귀속(causal circuit attribution) 및 구조적 제약을 결합한 새로운 방법 MANSU를 제안하며, 이를 통해 망각의 네 가지 속성을 모두 만족시키는 최초의 방법을 제시합니다.

핵심 포인트

• 기존 언러닝 평가는 양자화 환경을 고려하지 않아 실제 배포 환경과 괴리가 있습니다.
• 경사하강법 기반 언러닝 방법들은 압축(quantization) 과정에서 망각 효과를 상실하는 '이중 실패' 현상이 관찰됩니다.
• MANSU는 인과적 회로 귀속, 구조적 제약 등을 결합하여 양자화 환경에서도 유의미한 망각을 달성합니다.
• 연구진은 기존 지표로는 구분할 수 없는 구조적 삭제(structural erasure)와 행동 억제(behavioral suppression)를 측정하는 새로운 메커니즘적 검증 지표 CAD를 도입했습니다.