오프라인 RLHF의 효율적인 선호도 오염 공격

요약

본 논문은 인간 피드백 기반 오프라인 강화학습(RLHF) 파이프라인, 특히 DPO와 같은 방식이 선호도 데이터셋의 '오염'에 취약하다는 점을 지적하며 시작한다. 연구진은 하나의 레이블 플립 공격이 DPO 그래디언트를 매개변수 독립적으로 이동시킨다는 핵심 속성을 발견하고, 이를 구조화된 이산형 희소 근사 문제로 변환했다. 이를 해결하기 위해 'Binary-Aware Lattice Attack (BAL-A)'와 'Binary Matching Pursuit Attack (BMP-A)'라는 두 가지 새로운 공격 방법을 제안하여 오프라인 RLHF 모델의 취약점을 체계적으로 분석하고 복원 가능성을 입증한다.

핵심 포인트

• 오프라인 RLHF(DPO 등)는 사전 수집된 선호도 데이터셋에 매우 취약하다.
• 레이블 플립 공격은 DPO 그래디언트를 매개변수 독립적인 방식으로 이동시킨다는 핵심 속성이 있다.
• 이 문제를 해결하기 위해 구조화된 이산형 희소 근사 문제로 변환했다.
• BAL-A는 격자 이론(Lattice Theory)과 축소법을 활용하여 플립 선택 문제를 해결한다.
• BMP-A는 매칭 추적(Matching Pursuit) 기법을 사용하여 $K$-플립 예산 하의 복원 가능성을 보장한다.