마스크 확산 언어 모델 (Masked Diffusion Language Models)을 위한 머신 언러닝 (Machine Unlearning)

요약

본 논문은 LLaDA 및 Dream과 같은 마스크 확산 언어 모델(MDLMs)을 위한 최초의 머신 언러닝 프레임워크인 MDU(Masked Diffusion Unlearning)를 제안합니다. MDU는 확산 관점에서 지식 학습 과정을 재검토하여, 온도 스케일링을 통해 프라이버시와 유용성 사이의 균형을 조절하며 특정 지식을 효과적으로 제거합니다. 실험 결과, MDU는 기존 LLM 언러닝 방식보다 뛰어난 성능을 입증했습니다.

핵심 포인트

• 마스크 확산 언어 모델(MDLMs)의 독특한 생성 및 미세 조정 메커니즘 분석
• MDLMs를 위한 최초의 언러닝 프레임워크인 MDU(Masked Diffusion Unlearning) 제안
• 온도 스케일링 파라미터를 활용하여 프라이버시-유용성 트레이드오프 조절 가능
• 순방향 KL 발산(Forward KL divergence) 최소화를 통한 지식 제거 메커니즘 구현
• 기존 LLM 언러닝 방법론 대비 우수한 성능 확인