PreScam: 초기 대화를 통한 사기 진행 단계 예측을 위한 벤치마크

요약

본 글은 로맨스 사기나 투자 사기와 같이 다회차 대화를 통해 피해자를 점진적으로 조종하는 '대화형 사기(Conversational scams)'를 탐지하기 위한 새로운 벤치마크인 PreScam을 소개합니다. PreScam은 실제 사기 신고 데이터를 구조화하여, 사기 생애주기에 따라 계층적으로 구성된 대화 사례들을 제공하며, 사기꾼의 심리적 행동과 피해자의 반응이 주석 처리되어 있습니다. 이 벤치마크를 활용하여 연구진들은 실시간 종료 예측 및 사기꾼 행동 예측 두 가지 작업에 대해 모델을 평가했으며, 그 결과 현재 LLM들이 단서 포착은 가능하지만, 위험 고조 과정이나 대화 전반의 조종 과정을 추적하는 데는 한계가 있음을 보여주었습니다.

핵심 포인트

• 대화형 사기(Conversational scams)는 다회차 대화를 통해 피해자를 점진적으로 조종하며 주요 온라인 사기 유형으로 부상하고 있다.
• PreScam은 실제 사기 신고 데이터를 기반으로 구축된 벤치마크로, 사기 생애주기에 따라 구조화된 대화형 사기 사례를 제공한다.
• 평가 작업으로는 '실시간 종료 예측(real-time termination prediction)'과 '사기꾼 행동 예측(scammer action prediction)' 두 가지가 사용된다.
• 연구 결과, LLM들은 표면적인 유창함은 갖추었으나, 대화 턴에 따른 위험 고조 및 조종 과정 모델링에는 어려움을 겪는다.