Behavioral Canaries: RL Fine-Tuning 에서의 사적 검색 컨텍스트 사용 감사

요약

본 기사는 LLM 기반 에이전트 워크플로우에서 법적으로 보호되는 추가 학습 데이터가 서비스 약관을 위반하여 포함되었는지 감사하는 새로운 방법론인 'Behavioral Canaries'를 소개합니다. 기존의 암기 및 멤버십 추론 기반 감사는 강화학습(RL)으로 훈련된 모델에는 효과적이지 않다는 한계가 있었습니다. Behavioral Canaries는 문서 트리거와 독특한 스타일적 응답에 보상을 주는 피드백을 사용하여 잠재적인 조건부 선호도 데이터를 장비하고, 이를 통해 RLFT 파이프라인에서 무단 데이터 포함 여부를 감지할 수 있습니다.

핵심 포인트

• Behavioral Canaries는 RL Fine-Tuning(RLFT) 과정에서 서비스 약관 위반 가능성을 감사하는 새로운 프레임워크이다.
• 기존의 암기 기반 감사 방법은 행동 변화에 초점을 맞추는 RL 모델에는 효과적이지 않다.
• 이 프레임워크는 문서 트리거와 스타일적 응답을 결합하여 선호도 데이터를 장비(instrument)한다.
• 실험 결과, 낮은 카니리 주입률에서도 높은 감지율과 허용 가능한 위양성률을 달성할 수 있음을 입증했다.