멀티모달 거대 언어 모델을 위한 활성화 스티어링 및 강화 학습 기반 언러닝 프레임워크 ASRU
요약
멀티모달 거대 언어 모델(MLLM)이 민감한 정보를 암기하는 문제를 해결하기 위해, 생성 품질을 보존하면서도 효과적인 언러닝을 수행하는 ASRU 프레임워크를 제안합니다. ASRU는 활성화 재지정(Activation redirection)과 맞춤형 보상 함수를 활용하여 모델의 유용성과 언러닝 성능 사이의 최적의 트레이드오프를 달성합니다. Qwen3-VL 실험 결과, 기존 방식 대비 언러닝 효과와 생성 품질을 크게 향상시켰음을 입증했습니다.
핵심 포인트
- 기존 머신 언러닝(MU) 방식이 간과하던 모델의 생성 품질 및 유용성 문제를 해결하기 위한 프레임워크 제안
- 활성화 재지정(Activation redirection)을 통해 초기 거부 행동을 유도하는 메커니즘 도입
- 맞춤형 보상 함수를 사용하여 미세한 거부 경계를 최적화함으로써 언러닝과 유용성 간의 균형 확보
- Qwen3-VL 실험 결과, 언러닝 효과 24.6% 향상 및 생성 품질 5.8배 개선 달성
멀티모달 거대 언어 모델 (Multimodal Large Language Models, MLLMs)은 사전 학습 (Pretraining) 과정에서 민감한 교차 모달 (Cross-modal) 정보를 암기할 수 있으며, 이로 인해 머신 언러닝 (Machine Unlearning, MU)의 중요성이 커지고 있습니다. 기존 방법들은 일반적으로 출력 편차 (Output deviations)를 기반으로 언러닝의 효과를 평가하며, 언러닝 이후의 생성 품질 (Generation quality)은 간과하는 경향이 있습니다. 이는 환각 (Hallucination) 현상이 발생하거나 경직된 응답을 유발하여, 언러닝된 모델의 사용성과 안전성에 영향을 미칠 수 있습니다. 이러한 문제를 해결하기 위해, 우리는 생성 품질을 핵심 평가 목표로 포함하는 제어 가능한 멀티모달 언러닝 프레임워크인 ASRU를 제안합니다. ASRU는 먼저 활성화 재지정 (Activation redirection)을 통해 초기 거부 행동 (Refusal behavior)을 유도한 다음, 맞춤형 보상 함수 (Reward function)를 사용하여 미세한 거부 경계 (Refusal boundaries)를 최적화함으로써, 대상 지식의 언러닝과 모델 유용성 (Model utility) 사이의 더 나은 트레이드오프 (Trade-off)를 달성합니다. Qwen3-VL를 대상으로 한 실험 결과, ASRU는 소량의 유지된 지도 데이터 (Supervision data)만을 사용하면서도 모델 유용성을 효과적으로 보존하는 동시에, 언러닝 효과를 평균 24.6% 향상시키고 생성 품질을 평균 5.8배 개선함을 보여주었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기