LLM이 적대적 프리필(Adversarial Prefills)을 신뢰성 있게 자기 보고할 수 있는가, 그리고 어떻게 가능한가?

요약

LLM이 적대적 프리필 공격에 의해 유도된 자신의 응답을 얼마나 신뢰성 있게 인식할 수 있는지 조사한 연구입니다. 실험 결과 대부분의 모델이 공격을 인지하지 못했으며, 미세 조정(SFT, GRPO, DPO)을 통한 개선 시도도 공격 성공률을 높이는 부작용을 보였습니다.

핵심 포인트

• LLM은 적대적 프리필 공격에 의한 출력 손상을 신뢰성 있게 인식하지 못함
• 거부 방향 가중치 직교화 시 인식 격차를 줄일 수 있으나 완벽하지 않음
• SFT, GRPO, DPO 미세 조정이 의도-프로브 격차를 넓히지만 공격 성공률을 높이기도 함
• LLM의 자기 보고(self-reports) 신뢰성에 존재하는 위험성 강조