안전 정렬된 LLM은 혼합된 준수 데모(Compliance Demonstrations)로부터 무엇을 배우는가?

요약

본 연구는 인컨텍스트 데모의 구성이 LLM의 유해한 준수(harmful compliance)에 미치는 영향을 분석합니다. 양호한 데모와 유해한 데모가 서로 교체 불가능하며, 데모의 내용, 순서, 모델의 학습 방법론에 따라 탈옥 메커니즘이 다르게 작동함을 규명합니다.

핵심 포인트

• 양호한 데모가 모델에 따라 유해한 준수를 오히려 증가시킬 수 있음
• 선호도 최적화(Preference Optimization)가 유해 준수 방지에 결정적 역할 수행
• 데모의 순서가 모델의 최신성 편향(Recency Bias)에 큰 영향을 미침
• 모델마다 거절(Refusal)과 인컨텍스트 학습이 상호작용하는 방식이 상이함