LLaDA 및 Dream과 같은 최근의 마스크 확산 언어 모델 (Masked Diffusion Language Models, MDLMs)은 자기회귀 (Autoregressive) 대규모 언어 모델에 필적하는 성능을 달나성했습니다. 텍스트를 순차적으로 생성하는 자기회귀 모델과 달리, MDLMs는 마스크 처리된 위치들을 병렬로 반복적인 디노이징 (Denoising) 과정을 거쳐 텍스트를 생성합니다. 미세 조정 (Fine-tuning) 과정에서 MDLMs는 프롬프트 (Prompt)를 조건으로 하여 마스크된 응답 상태로부터 응답을 복구하는 법을 배우며, 이를 통해 예측을 프롬프트-마스크된 무조건부 분포 (Prompt-masked unconditional distribution)에서 프롬프트-조건부 분포 (Prompt-conditional distribution)로 전환합니다. 이러한 독특한 생성 및 미세 조정 메커니즘에도 불구하고, MDLMs를 위한 머신 언러닝 (Machine Unlearning)은 여전히 거의 탐구되지 않은 상태입니다. 본 논문에서는 확산 (Diffusion) 관점에서 특정 지식을 학습하는 과정을 재검토함으로써, MDLMs를 위한 최초의 언러닝 프레임워크인 마스크 확산 언러닝 (Masked Diffusion Unlearning, MDU)을 제안합니다. 구체적으로, MDU는 프라이버시-유용성 트레이드오프 (Privacy-utility trade-off)를 조절하기 위한 온도 스케일링 (Temperature scaling) 파라미터를 사용하여, 모든 마스크된 응답 위치에서 프롬프트-조건부 예측으로부터 프롬프트-마스크된 무조건부 앵커 (Prompt-masked unconditional anchor) 사이의 순방향 KL 발산 (Forward KL divergence)을 최소화합니다. 표준 벤치마크 및 MDLM 백본 (Backbones)에 대한 실험 결과는 MDU가 기존의 LLM 언러닝 방법들과 비교하여 높은 언러닝 성능을 달성함을 보여줍니다. 코드는 https://github.com/leegeoru/MDU 에서 확인할 수 있습니다.