SafeReview: LLM 기반 심사 시스템에 대한 적대적 숨은 프롬프트 방어

요약

본 논문은 LLM이 학술 동료 검토 시스템에 통합되면서 발생하는 적대적 프롬프트 공격 취약성에 대응하는 새로운 방어 프레임워크를 제안합니다. 이 시스템은 공격 프롬프트를 생성하는 Generator와 이를 탐지하는 Defender 모델을 공동으로 최적화하며, 정보 검색 GAN에서 영감을 받은 손실 함수를 사용합니다. 그 결과, 기존의 정적 방어 방식보다 진화하고 새로운 위협에 대해 훨씬 높은 저항력을 갖춘 강력한 심사 시스템 기반을 마련했습니다.

핵심 포인트

• LLM 기반 동료 검토 시스템은 적대적 프롬프트 공격에 취약하여 학문적 건전성에 위협이 됩니다.
• 제안된 프레임워크는 Generator와 Defender 모델의 공동 최적화를 통해 방어 능력을 강화합니다.
• 정보 검색 GAN에서 영감을 받은 손실 함수를 사용하여 동적인 공진화(co-evolution)를 유도합니다.
• 이 접근 방식은 정적 방어보다 진화하는 공격 전략에 대해 월등히 높은 저항성을 제공합니다.