멀티모달 거대 언어 모델을 위한 활성화 스티어링 및 강화 학습 기반 언러닝 프레임워크 ASRU

요약

멀티모달 거대 언어 모델(MLLM)이 민감한 정보를 암기하는 문제를 해결하기 위해, 생성 품질을 보존하면서도 효과적인 언러닝을 수행하는 ASRU 프레임워크를 제안합니다. ASRU는 활성화 재지정(Activation redirection)과 맞춤형 보상 함수를 활용하여 모델의 유용성과 언러닝 성능 사이의 최적의 트레이드오프를 달성합니다. Qwen3-VL 실험 결과, 기존 방식 대비 언러닝 효과와 생성 품질을 크게 향상시켰음을 입증했습니다.

핵심 포인트

• 기존 머신 언러닝(MU) 방식이 간과하던 모델의 생성 품질 및 유용성 문제를 해결하기 위한 프레임워크 제안
• 활성화 재지정(Activation redirection)을 통해 초기 거부 행동을 유도하는 메커니즘 도입
• 맞춤형 보상 함수를 사용하여 미세한 거부 경계를 최적화함으로써 언러닝과 유용성 간의 균형 확보
• Qwen3-VL 실험 결과, 언러닝 효과 24.6% 향상 및 생성 품질 5.8배 개선 달성