PreScam: 초기 대화를 통한 사기 진행 단계 예측을 위한 벤치마크

로맨스 사기 및 투자 사기와 같은 대화형 사기(Conversational scams)가 주요 온라인 사기 유형으로 부상하고 있습니다. 가짜 복권이나 미납 통행료 메시지와 같은 일회성 사기 유인(one-shot scam lures)과 달리, 이러한 사기는 사기꾼이 진화하는 심리적 기술을 사용하여 피해자를 점진적으로 조종하는 다회차 대화(multi-turn conversations)를 통해 전개됩니다. 그러나 기존 연구는 주로 정적인 사기 탐지(static scam detection)나 합성 사기(synthetic scams)에 집중되어 있어, 언어 모델(language models)이 실제 세계의 사기가 시간이 지남에 따라 어떻게 진행되는지 이해할 수 있는지에 대해서는 미결 과제로 남아 있습니다. 우리는 초기 대화로부터 사기 진행 과정을 모델링하기 위한 벤치마크인 PreScam을 소개합니다. 사용자가 제출한 사기 신고를 바탕으로 구축된 PreScam은 177,989개의 가공되지 않은 신고를 필터링하고 구조화하여 20개의 사기 카테고리에 걸친 11,573개의 대화형 사기 사례(conversational scam instances)로 변환했습니다. 각 사례는 제안된 사기 킬 체인(scam kill chain)에 의해 정의된 사기 생애주기(scam lifecycle)에 따라 계층적으로 구조화되었으며, 사기꾼의 심리적 행동(scammer psychological actions)과 피해자의 반응(victim responses)이 턴(turn) 단위로 추가 주석(annotation) 처리되었습니다. 우리는 두 가지 작업에 대해 모델을 벤치마킹합니다: 대화가 종료 단계(termination stage)에 도달하고 있는지 추정하는 실시간 종료 예측(real-time termination prediction), 그리고 사기꾼의 후속 행동을 예측하는 사기꾼 행동 예측(scammer action prediction)입니다. 결과에 따르면 표면적인 유창함(fluency)과 진행 모델링(progression modeling) 사이에 명확한 격차가 있음이 나타났습니다: 지도 학습 기반 인코더(supervised encoders)는 실시간 종료 예측에서 제로샷 LLM(zero-shot LLMs)을 실질적으로 능가하는 반면, 다음 행동 예측(next-action prediction)은 강력한 LLM에 대해서도 중간 정도의 성공률만을 보였습니다. 종합하면, 이러한 결과는 현재의 모델들이 사기 관련 단서(cues)를 일부 포착할 수는 있지만, 위험이 어떻게 고조되고 대화 턴에 따라 조종이 어떻게 전개되는지를 추적하는 데에는 여전히 어려움을 겪고 있음을 보여줍니다.