LLM에서의 다국어 언러닝 (Multilingual Unlearning): 전이, 역학 및 가역성

대규모 언어 모델 (LLMs)은 민감한 사실을 암기할 수 있으며, 이는 비용이 많이 드는 재학습 없이 목표 지식을 제거하는 언러닝 (unlearning) 방법론의 필요성을 불러일으킵니다. 그러나 언러닝 연구는 여전히 영어 중심에 치우쳐 있습니다. 본 연구에서는 TOFU 벤치마크를 5개 언어로 확장하여 다국어 언러닝 (multilingual unlearning)을 연구하며, 다양한 언어 조합을 통해 모델을 미세 조정 (fine-tune), 언러닝, 그리고 질의 (query) 합니다. 우리는 언러닝 전이 (unlearning transfer), 즉 언러닝이 수행된 언어 이외의 언어에서 사실을 "망각"하는 능력이 매우 가변적이라는 것을 발견했습니다. 예를 들어, 문자와 어족 (families)을 공유하는 언어 사이에서 전이가 가장 강력하게 나타나며, 언러닝이 수행된 언어가 어떤 질의 언어에서 가장 강력한 전이가 발생할지를 예측할 수 있음을 보여줍니다. 층별 분석 (Layer-wise analysis) 결과, 언러닝은 초기 레이어(early layers)의 공유된 교차 언어 잠재 공간 (cross-lingual latent space)을 대부분 온전하게 유지하는 대신, 주로 후기 디코딩 레이어 (later decoding layers)에서 작동한다는 것을 밝혀냈습니다. 이는 언러닝이 지식을 진정으로 삭제하는 것이 아니라, 오히려 표면적인 억제 (superficial suppression)를 유도한다는 것을 시사합니다. 이러한 구조를 활용하여, 단일 추론 시 스티어링 방향 (inference-time steering direction)은 언어 전반에 걸쳐 이러한 억제의 상당 부분을 되돌려, 언러닝된 지식의 50% (Qwen) 및 90% (Gemma)를 복구합니다.