숨겨진 프롬프트는 필요 없다! 프레젠테이션 수정만으로 AI 동료 심사(Peer Review)를 기만할 수 있다
요약
AI 동료 심사(Peer Review) 시스템을 기만하기 위해 프롬프트 주입 없이 논문의 프레젠테이션 구조만 수정하는 '적대적 재포장(adversarial repackaging)' 공격 기법을 연구했습니다. 실험 결과, 과학적 근거를 유지한 채 서사 구조를 변경하는 것만으로도 AI 리뷰어의 점수를 유의미하게 높일 수 있음을 확인했습니다.
핵심 포인트
- 프롬프트 주입 없이 프레젠테이션 수정만으로 AI 리뷰어 기만 가능
- 적대적 재포장 공격 시 평균 점수 1.21/10 상승 및 75.1% 성공률 기록
- 단순 문장 다듬기보다 관련 연구 재배치 등 구조적 수정이 더 효과적
- AI 리뷰어는 약점 해소보다 강점 강조에 더 쉽게 설득되는 경향
- 논문의 프레젠테이션 자체가 AI를 속이는 최적화 표면으로 작용함
AI 생성 리뷰가 실험적 도구에서 동료 심사(peer-review) 인프라로 이동함에 따라, 대부분의 강건성(robustness) 우려는 숨겨진 지시어(hidden instructions)나 프롬프트 주입(prompt injection)과 같은 명시적인 공격에 집중되어 왔습니다. 우리는 더 어렵고 정책적으로 관련성이 높은 실패 모드를 연구합니다: 숨겨진 텍스트도 없고, 프롬프트 주입도 없으며, 방법론(methods), 실험(experiments), 도표(figures), 방정식(equations), 증명(proofs) 또는 수치적 결과(numerical results)의 변경도 없는 경우입니다. 공격자는 초록(abstract), 기여도 프레이밍(contribution framing), 관련 연구(related work), 토론(discussion), 그리고 서사 구조(narrative structure)와 같은 프레젠테이션 수준의 콘텐츠만을 수정합니다. 우리는 '적대적 재포장(adversarial repackaging)'을 도입합니다: 이는 과학적 근거는 고정한 채, AI 리뷰어의 피드백을 사용하여 프레젠테이션 수준의 수정을 탐색하는 폐쇄 루프(closed-loop) 공격입니다. 세 가지 주요 AI 리뷰어를 대상으로 실험한 결과, 적대적 재포장은 75.1%의 공격 성공률과 평균 점수 +1.21/10 상승을 달성했습니다. 이 효과는 일반적인 산문 다듬기(prose polishing)로 설명되지 않습니다. 또한 우리는 관련 연구의 재배치(related-work repositioning)나 분석적 토론 확장(analytical discussion expansion)과 같이 리뷰어가 논문을 해석하는 방식을 바꾸는 전략이 국소적 다듬기(local polishing), 표 형식(table formatting), 알고리즘 박스(algorithm boxes)와 같은 표면적 편집보다 실질적으로 훨씬 더 뛰어난 성능을 보임을 밝혀냈습니다. 우리의 분석은 두 가지 더 깊은 구조적 실패 모드를 드러냅니다. 첫째, AI 리뷰어는 설득하는 것보다 감명받게 만드는 것이 더 쉽습니다: 강점을 강조하는 것은 인지된 가치를 안정적으로 높이는 반면, 약점을 해소하려는 시도는 종종 역효과를 낳습니다. 둘째, AI 리뷰어는 한계점(limitation)을 다루는 것처럼 보이는 외양과 실제로 이를 해결하는 것을 혼동할 수 있으며, 이로 인해 변경되지 않은 근거가 더 강력한 과학적 기여로 재해석될 수 있습니다. 이러한 결과는 배포 위험이 악의적인 숨겨진 지시어뿐만 아니라, 논문의 프레젠테이션 자체가 최적화 표면(optimization surface)으로 등장하는 것임을 보여줍니다. 우리는 프레젠테이션 전용 수정 하에서도 AI 리뷰어가 과학적 콘텐츠에 고정되어 있는지 테스트하기 위한 오염 없는(contamination-free) 롤링 벤치마크와 공격 프레임워크를 공개합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기