무엇을 잊어야 할지: 언어 모델의 정밀한 학습 소거를 위한 토큰 레벨 귀속

요약

본 논문은 대규모 언어 모델(LLMs)의 프라이버시 및 안전성 문제를 해결하기 위한 '토큰 레벨 귀속' 학습 소거 프레임워크인 TokenUnlearn을 제안합니다. 기존 방법들이 모든 토큰에 균일한 업데이트를 적용하는 한계를 극복하고, 지식 인식 및 엔트로피 인식 신호를 활용하여 중요한 토큰을 정밀하게 식별합니다. 이 프레임워크는 하드 선택과 소프트 가중치 두 가지 전략을 통해 학습 소거의 효과를 높이면서 모델 유틸리티 저하를 최소화함을 입증했습니다.

핵심 포인트

• LLMs에서 기계적 학습 소거(Machine Unlearning)는 프라이버시 및 규제 준수에 필수적인 기술입니다.
• 기존의 균일한 업데이트 방식은 지식이 특정 토큰에만 인코딩된다는 점을 간과하여 비효율적이었습니다.
• TokenUnlearn은 지식 인식 및 엔트로피 인식 신호를 결합하여 학습 소거가 필요한 중요 토큰을 정밀하게 식별합니다.
• 제안된 방법론은 하드 선택(Hard Selection)과 소프트 가중치(Soft Weighting) 두 가지 전략으로, 기존의 시퀀스 레벨 접근법보다 우수한 성능을 보였습니다.