무해한 샘플 속에 숨겨진 유해한 감독(Supervision)에 대한 방어

요약

무해한 학습 샘플 내에 유해한 감독 신호를 숨기는 '임베디드 공격'의 위험성을 분석하고, 이를 방어하기 위한 새로운 학습 기법을 제안합니다. 기존 가드레일의 한계를 지적하며 토큰 수준의 정규화를 활용한 DR-SFT 방식을 소개합니다.

핵심 포인트

• 무해한 태스크 내에 유해한 QA 쌍을 삽입하는 임베디드 공격 제안
• 기존 가드레일이 예시 수준의 정교한 공격을 탐지하는 데 한계가 있음을 증명
• 토큰 수준 정규화를 적용한 Dual-Reference SFT(DR-SFT) 방법론 제시
• 단순 데이터 필터링을 넘어 미세 조정 단계에서의 유해성 완화 가능성 확인