Crafting Reversible SFT Behaviors in Large Language Models

요약

본 논문은 대형 언어 모델(LLM)에 주입되는 지도 강화 학습(SFT) 행동의 구조적 제약 부족 문제를 해결하고자 합니다. 기존 방법들이 사후적인 상관관계만 식별하는 것과 달리, 연구진은 '캐리어(Carrier)'라는 개념을 도입하여 명시적 유틸리티 예산 하에서 라우팅 마스크와 모델 가중치를 동시에 최적화함으로써 행동을 희소하고 기계적으로 필요한 하위 네트워크로 의도적으로 압축합니다. 이를 위해 Loss-Constrained Dual Descent (LCDD)를 제안하여 캐리어를 구축하고, SFT-Eraser를 통해 이 캐리어 채널에서 활성화 매칭 기반의 소프트 프롬프트를 최적화함으로써 유도된 행동을 역전시킬 수 있음을 입증했습니다. 이러한 접근 방식은 학습된 행동이 인과적으로 필요한 구조에 위치함을 보여주며, 모델 배포 단계에서 특정 행동을 체계적으로 제어하고 억제하는 새로운 패러다임을 제시합니다.

핵심 포인트

• SFT로 유도된 LLM의 행동은 구조적 제약이 부족하여 선택적 제어가 어렵습니다.
• 연구진은 '캐리어(Carrier)'라는 개념을 도입하여, 명시적 유틸리티 예산 하에 라우팅 마스크와 모델 가중치를 동시에 최적화합니다.
• Loss-Constrained Dual Descent (LCDD)를 통해 행동이 인과적으로 필요한 희소 캐리어를 구축할 수 있습니다.
• SFT-Eraser는 추출된 캐리어 채널을 활용하여 유도된 행동을 역전시키는 소프트 프롬프트를 생성합니다.
• 제안된 구조적 제어 방식은 학습된 행동의 인과적 필요성을 직접 증명하며, 모델 안전성 및 제어 가능성을 높입니다.