설정 (The Set-Up)

Johnny Hooker: 2시가 좀 지나면, 어떤 남자가 저 전화기로 전화를 걸어 당신에게 말의 이름을 알려줄 겁니다.

당신이 구직 중인, 아마도 평균적인 급여를 받으며 기술에 능숙한 전문가라고 상상해 보십시오. 당신은 한동안 운 좋게 일자리를 찾지 못했습니다. 현재 시장 상황이 매우 좋지 않기 때문입니다.

한 리크루터(Recruiter)가 LinkedIn을 통해 연락을 해왔고, 그것은 당신의 최고의 기술에 딱 맞춰진 완벽한 기회처럼 보입니다.

그 회사는 당신도 들어본 적이 있는 곳이며, 일하기 좋은 곳으로 알려져 있습니다. 또한 이전 직장에 비해 급여도 꽤 높습니다.

당연히 당신은 매우 들떠서 몇 차례의 인터뷰에 응하기로 합니다. 첫 번째 스크리닝 콜(Screening call)은 잘 진행된 것 같습니다. 그들은 인터뷰가 표준적이고 단순한 NDA(비밀유지계약) 하에 진행된다고 언급하며, 법률 기술(Legaltech) SaaS 스타트업 플랫폼 중 하나를 통해 이를 보내주겠다고 약속합니다. 당신은 이메일을 받고, 그들의 엔터프라이즈 SSO(Single Sign-On)로 로그인한 후, 정말로 꽤 단순한 NDA임을 확인하고 서명합니다.

인터뷰는 아주 잘 진행됩니다. 면접관들은 따뜻하고 환대하며, 당신은 그들과 더 많이 함께 일하기를 기대하게 됩니다. 그들이 회사에 대해 말하는 모든 것이 놀랍게 들립니다.

그러고 나서 당신은 나쁜 소식을 듣게 됩니다. 다른 사람이 그 일자리를 차지했다는 것입니다. 뭐, 어쩔 수 없죠. 하지만 그들은 당신과 대화하는 것을 즐거워했으며, 향후 유사한 기회가 있을 때 연락할 수도 있다고 합니다. 어쨌든, 다시 일상으로 돌아갑니다.

6개월 후, 당신은 이 모든 것이 사기(Scam)였다는 사실을 알게 됩니다. 당신의 신원(Identity)이 도용되었고, 당신의 이름으로 개설된 신용카드로 수천 달러가 사용되었습니다. 당신의 증권 계좌는 일부 인출되었습니다. 이 상황을 해결하는 데는 몇 달이 걸릴 것이며, 모든 것을 되찾지는 못할 가능성이 높습니다. 설상가상으로, 당신은 이메일과 다른 많은 온라인 계정에 대한 접근 권한을 잃었습니다.

이 사실을 발견하면서도, 당신은 어떻게 이런 일이 일어났는지 여전히 당혹스럽습니다. 당신은 이런 종류의 일이 당신에게 일어날 것이라고는 전혀 예상하지 못했습니다. 당신은 인터넷에서 자신을 안전하게 지키는 데 능숙하며 흔한 사기에 잘 속지 않는 사람이기 때문입니다.

미끼 (The Hook)

Henry Gondorff: 혼자서는 할 수 없다는 걸 알 거야. 너 같은 녀석들로 구성된 조직과 그들을 그럴싸하게 보이게 만들 충분한 돈이 필요하다고.

공격 지점은 NDA(비밀유지계약) 서명 플랫폼의 로그인 단계였습니다. 귀하는 계정을 생성해야 할 때 “<service>로 로그인” 기능을 사용하기로 선택했고, 이는 매우 사실적으로 보이는 로그인 흐름으로 귀하를 안내했습니다. 즉, 귀하의 이메일이 이미 채워져 있는 실제 Google/iCloud 페이지와 같은 화면이었습니다. 귀하가 이 사이트에 로그인하면, 공격자들은 귀하가 입력한 비밀번호와 이후의 “기기에서 '예'를 누르세요”라는 2FA(2단계 인증) 흐름을 이용해 자신들의 쪽에서 귀하의 계정에 로그인(세션 쿠키 저장)했으며, 귀하에게는 성공적인 로그인처럼 보이게 만들었습니다.

공격자들은 이 탐지되지 않은 접근 권한을 유지하며 귀하의 패턴을 모니터링하고, 이를 악용할 방법을 찾았습니다. 그들은 불을 지르기 전에 연기 감지기를 먼저 비활성화했습니다. 즉, 공격 대상인 계정들로부터 오는 경고 이메일을 미리 필터링하여 경고가 귀하에게 도달하지 않도록 한 것입니다. 그들은 귀하의 모든 클라우드 파일을 다운로드했으며, 해당 계정을 사용하여 다양한 다른 사이트에 로그인했습니다. 그들은 귀하에 대해 알고 있는 모든 정보를 이용해 귀하의 명의로 신용카드를 발급받았습니다. 침해 사고 이후에 이루어진 인터뷰와 거절 절차는 일종의 연극이었습니다. 귀하가 의심을 품지 않게 함으로써 그들이 귀하의 자격 증명(Credentials)을 더 오래 보유할 수 있도록 하기 위함이었습니다.

이것만으로도 이미 상당히 무섭지만, 상황은 더 악화됩니다. 그들은 자금을 인출하는 데 성공했습니다. 이는 매우 어려운 일입니다. 현대의 금융 시스템은 탈취된 계정에 대해 많은 보호 장치를 갖추고 있기 때문입니다1. 돈을 노리는 대부분의 사기는 누군가를 설득하여 돌이킬 수 없거나 추적할 수 없는 방식으로 자금을 자발적으로 이체하게 만드는 방식이며, 기술에 능숙한 전문가는 그러한 사기의 표적이 될 가능성이 낮습니다.

하지만 사기꾼이 그 정도의 접근 권한을 가지고 있다면, 돈을 가로챈 뒤 너무 늦을 때까지 탐지되지 않도록 하면서 당신의 돈을 빼앗는 것은 여전히 가능합니다. 예를 들어, 당신의 이메일과 계정에 지속적이고 탐지되지 않는 방식으로 접근할 수 있는 사람은 당신의 급여가 당신이 자주 확인하거나 로그인하지 않는 증권 계좌로 자동 이체되고 있다는 사실을 알아챌 수 있습니다2. 그들은 비밀번호를 재설정하여 해당 계좌에 접근한 다음, 이체 계좌를 추가하고, 아마도 소액 이체를 통해 사용 패턴을 형성할 수도 있습니다. 결국, 그들은 당신이 한동안 알아차리지 못하도록 시기를 맞추어, 추적이 어려운 방식으로 자금을 외부로 이체합니다3. 어쩌면 그들은 당신이 휴가 중이기를 기다릴 수도 있습니다. 당신의 일정을 알고 있기 때문입니다!

모든 작업이 끝나고 사기가 곧 발각될 것이라고 판단되면, 그들은 당신이 무슨 일이 일어났는지 파악하기 어렵도록 당신의 계정 접속을 차단합니다.

네... 이 모든 것이 가능해 보입니다.

하지만 이는 보상이 확실하지 않을 수도 있는 상황에서, 여러 사람이 협력하고 모니터링해야 하는 엄청난 노력이 필요한 일입니다. 가능성이 낮아 보이죠, 그렇지 않나요?

음, 제가 한 가지 부분을 빠뜨렸군요. 이 모든 공격은 LLM (Large Language Model, 거대언어모델)에 의해 조직되고 실행되었습니다.

당신에 대한 모든 것을 조사하고 맞춤형 공격을 설계할 수 있는 LLM 말입니다. 이 모든 상황을 그럴싸하게 만들기 위해 필요한 모든 요소들(LinkedIn 계정, 가짜 문서 서명 웹사이트, 이메일 발송을 위한 그럴듯해 보이는 도메인)을 준비하고, 모든 텍스트, 오디오, 비디오 상호작용을 합성할 수 있는 LLM입니다. 또한 당신의 계정에 접근한 후, 이를 모니터링하며 그 권한을 활용할 최선의 방법을 찾아낼 수 있는 LLM입니다. 그것이 증권 계좌로 몰래 침투하는 것이든, AWS에서 막대한 클라우드 비용을 발생시키는 것이든, 당신의 암호화폐를 모두 가져가는 것이든, 혹은 이제는 탈취되어 아마도 삭제되었을 당신의 Google 계정으로부터 수십 년간 쌓아온 소중한 데이터를 인질로 삼아 랜섬을 요구하는 것이든 말입니다.

그리고 구직 활동은 부수적인 것이었습니다. 면접이야말로 당신에게 딱 맞는 사기 수법이었으며, 사기꾼들이 당신에 대해 알고 있는 정보를 바탕으로 당신을 낚기 위한 그럴싸한 방법이었습니다. 다른 누군가에게는 경찰로부터 걸려온 무서운 전화, 도움을 요청하는 친척, 은행에서 온 이메일, 혹은 서서히 타오르는 로맨스(slow-burn romance)가 될 수도 있습니다. 구실은 매번 바뀌지만, 그 이면의 메커니즘은 동일합니다.

이야기 (The Tale)

Henry Gondorff: 거리에서 취객을 상대하는 것과는 달라. Lonnegan을 앞지를 수는 없어.

꽤 오랫동안 사기는 크게 두 가지 범주로 나눌 수 있었습니다. 지식이 부족한 사람들을 낚기를 희망하며 뿌리는, 저렴하고 운영하기 쉬운 '뿌리고 기도하기 (spray-and-pray)' 식의 사기와, 수고를 들일 가치가 있는 사람들을 겨냥한 값비싸고 '표적화된 (targeted)' 사기입니다. 그리고 보통 "수고를 들일 가치가 있는 사람"이란 개인의 저축액을 노리기보다는, 홍콩에서 발생한 2,500만 달러 규모의 사기 사건(회사의 직원이 회사 자금을 송금하도록 설득당한 사건)처럼 누군가가 보유한 '조직적' 권력에 더 가깝습니다.

'뿌리고 기도하기 (spray-and-pray)' 식의 사기가 저렴한 이유는 당신을 설득하는 데 별다른 노력을 기울이지 않기 때문입니다. 사실, "나이지리아 사기꾼 (Nigerian Scammer)"라는 전형적인 캐릭터가 존재하는 이유는, 지식이 부족한 개인을 대상으로 사기를 치는 사기꾼들에게는 지식이 더 많은 사람들이 가능한 한 빨리 자신들의 파이프라인에서 스스로 걸러져 나가는 것이 매우 바람직하기 때문입니다. 이메일은 무료이지만, 타겟(mark)과 서신을 주고받으며 사기를 치는 후속 작업은 비용이 들기 때문입니다.

기술에 능숙한 사람들은 대체로 이러한 사기에 잘 걸리지 않습니다. 몇 가지 컴퓨터 보안 모범 사례 (best practices)와 시스템의 기능에 대한 대략적인 이해만 결합되어 있어도 상당히 안전하게 자신을 보호할 수 있습니다.

하지만 더 정교한 사기의 관점에서 보면, 대부분의 사람들은 "수고를 들일 가치"가 없거나, 적어도 스스로 가치가 없다고 생각합니다. 대부분의 사람들은 직장에서 마음대로 누를 수 있는 2,500만 달러짜리 버튼을 가지고 있지 않으니까요.

물론, 많은 전문가들이 정교한 사기(scam)를 시도할 만큼 충분한 저축액을 보유하고 있겠지만, 그들에게 그런 일이 실제로 일어날 가능성은 여전히 낮습니다. 그 정도의 노력이 들어가는 사기는 많은 준비 시간이 필요하며 단순히 규모를 확장(scale up)할 수도 없습니다. 이 사기를 실행할 만큼 정교한 능력을 갖추고 범죄자가 될 의향이 있는 사람들이 필요한데, 이는 병렬화(parallelize)가 잘 되지 않기 때문입니다. 여기에는 오래된 농담이 있습니다. 곰보다 빨리 달릴 필요는 없다, 그저 옆에서 달리는 사람보다 빨리 달리기만 하면 된다는 것입니다. 사기를 당하지 않을 정도일 필요는 없으며, 그저 다음 타겟보다 사기 치기 더 까다로운 존재가 되면 됩니다.

개인의 자산을 노린 정교한 사기가 실제로 발생한다는 점에 유의하십시오. "나에게는 일어날 수 없는 일이다"라는 프레임은 정확하지 않지만, "나에게 일어날 가능성은 낮다"라는 생각은 흔한 믿음이며, 많은 이들이 이를 갖는 것이 무리한 일은 아닙니다.

James Mickens의 말을 인용하자면 다음과 같습니다:

"기본적으로 당신은 Mossad(모사드)를 상대하고 있거나, Mossad가 아닌 상대를 상대하고 있는 것입니다. 만약 당신의 적이 Mossad가 아니라면, 좋은 비밀번호를 선택하고 ChEaPestPAiNPi11s@virus-basket.biz.ru에서 온 이메일에 응답하지 않는다면 아마 괜찮을 것입니다.

만약 당신의 적이 Mossad라면, 당신은 죽게 될 것이고 당신이 할 수 있는 일은 아무것도 없습니다. Mossad는 당신이 https://를 사용한다는 사실에 겁먹지 않습니다. 만약 Mossad가 당신의 데이터를 원한다면, 그들은 드론을 사용하여 당신의 휴대폰을 휴대폰 모양의 우라늄 조각으로 교체할 것이며, 당신이 종양으로 가득 찬 종양 때문에 사망했을 때, 그들은 "우리가 한 것이 아니다"라고 말하며 "분명히 우리가 했다"라고 적힌 티셔츠를 입고 기자 회견을 열 것입니다. 그러고 나서 그들은 당신의 무미건조한 휴가 이메일을 읽는 대신 당신의 휴가 사진을 직접 볼 수 있도록 당신의 유산 정리 판매(estate sale)에서 당신의 물건을 모두 사갈 것입니다."

Mickens는 완전히 다른 차원인 국가 행위자(state actors)에 대해 말하고 있습니다. 하지만 핵심 아이디어는 동일합니다. 적대자의 역량은 "비표적형 × 저렴함"과 "표적형 × 비쌈"이라는 두 지점에 군집을 이루는 이봉 분포(bimodal)를 보입니다. 그리고 표적 공격(targeted attacks)을 대규모로(at scale) 수행하는 것은 제대로 작동하지 않습니다.

정정하자면, 공격자(adversary)의 역량은 이봉 분포(bimodal)를 보였습니다. LLM은 이 분포의 중간 부분을 채우고 있습니다. LLM은 매우 저렴합니다. 2024년의 한 논문에 따르면, 스피어 피싱(spearphishing) 임무를 맡은 LLM의 비용은 이메일당 약 4센트였습니다. 위에서 설명한 인터뷰 사기(interview scam)는 더 복잡하고 비용이 많이 들지만, 여전히 수익성이 있을 가능성이 높으며, 2026년의 LLM은 비약적으로 더 발전할 것입니다.

소름 끼치게도, 이것은 확장 가능합니다(this scales): 한 사람이 동시에 수천 개의 이러한 사기를 운영할 수 있습니다! 사기꾼은 아마도 LLM을 사용하여 개인을 조사하고, 그 개인의 신상 정보(dossier)에 맞춰 설계된 맞춤형 사기(bespoke scams)를 제공할 수도 있을 것입니다.

우리는 이제 사기를 for 루프 안에서 실행할 수 있는 세상에 살고 있습니다.

The Wire

에디 나일스(Eddie Niles): 도청 장치(the wire)는 10년 전 것이야.

헨리 곤도르프(Henry Gondorff): 그래서 그는 모르는 거지.

다음은 이전에는 타겟당 상당한 숙련된 인간의 노력이 필요했던, LLM이 보유한 사기 관련 역량의 부분적인 목록입니다:

• 타겟을 공략할 최선의 방법을 찾기 위해 대상(mark)을 조사하는 것.
• 타겟을 염두에 두고 모든 통신 내용을 개인화하며, 다양한 접근 방식에 대한 타겟의 반응에 따라 동적으로 조정하는 것.
• 친척과 같이 타겟이 신뢰하는 사람의 목소리를 복제하는 것.
• 화상 통화의 그럴듯한 실시간 딥페이킹(deepfaking).
• 그럴듯해 보이는 보조적인 가짜 웹 존재감(web presence)을 구축하는 것.
• 탈취된 자원을 실시간으로 모니터링하고, 이 모니터링을 기반으로 사기를 동적으로 구축하는 것.
• 타겟에 대한 더 나은 분류(triage) 및 발견.
• 시그니처 탐지(signature-detection) 기반의 스팸 필터를 회피하는 것 (Heiding et al.에 의해 입증됨).
• 패치되지 않은 배포 소프트웨어에서 알려진 익스플로잇(exploits)을 스캔하고 체이닝(chaining)하는 것. 대규모 스캔은 새로운 것이 아니지만, 최신 CVE를 계속 추적하고 새로운 기술을 배울 수 있는 도구를 저렴하게 구축하는 것은 새로운 일입니다.

이것들은 오늘날 존재하는 역량들이며, 앞으로 더욱 개선될 것입니다. 우리는 이러한 기술들을 천장이 아닌 바닥(floor)으로 간주해야 합니다.

이 각각의 기술은 그 자체로 위험하지만, 또한 저렴합니다. 토큰(tokens) 단위로 비용이 측정되는 사기는 수없이 반복해서 실행될 수 있습니다 — "for 루프 안의 사기...

loop” – 그리고 규모의 확장(scaling)은 개인적인 사기에서는 불가능했던 움직임들을 가능하게 합니다.

첫째로, 규모의 확장은 *인내심(patience)*을 가능하게 합니다. 개인을 노리는 사기꾼 팀은 단계 사이의 수개월 또는 수년의 시간을 기다릴 여력이 없을 수 있으며, 이는 그들이 시도할 수 있는 범위를 제한합니다. 하지만 LLM(Large Language Models)을 사용하여 동시에 수많은 사람을 공격하는 사기꾼은 작전이 한동안 휴면 상태로 머물며 덮칠 적절한 순간을 기다리는 것을 충분히 감당할 수 있습니다. 심지어 그들은 그 시간을 사용하여 상당한 시간 간격을 두고 수행되는 여러 개의 사기를 계층화(layer)할 수도 있습니다.

둘째로, 규모의 확장은 *조합(composition)*을 가능하게 합니다. 사기 방지 메커니즘을 무력화하기 위해 여러 전면에 걸쳐 사기를 복합적으로 구성할 수 있습니다. 예를 들어, 추적 불가능한 방식으로 대량의 자금을 인출할 수 있게 해주는 자금 운반책(money mule)을 모집하기 위해 작고 덜 정교한 사기를 실행할 수 있습니다.

(저는 고전 영화인 1973년작 <스티그(The Sting)>를 정말 좋아합니다. 영화 속 사기의 핵심적인 측면 중 하나는, 일행이 여러 개의 작은 신용 사기(confidence tricks)를 사용하여 다양한 "신뢰할 수 있는" 기관들을 매수하거나 속임(spoof)으로써, 예를 들어 대형 은행에서 일하는 것처럼 믿을 수 있게 가장할 수 있는 능력을 갖추는 것입니다. 하지만 지금 이 시대에는 헨리 곤도르프(Henry Gondorff)가 오래된 당구장, 베팅 장비, 변장, 50명의 출연진, 그리고 그 외 수많은 것들을 필요로 했던 일을... 이제는 단 몇 개의 토큰(tokens)만으로 달성할 수 있습니다.)