「사장님의 메일」이 가짜일 수도 있는 시대: AI 사기를 간파하는 방법【AI 안전 활용 가이드 #2】

요약

AI 기술을 악용한 정교한 피싱 및 사칭 사기 수법과 이에 대응하는 안전 활용 가이드를 소개합니다. LLM, 음성 합성, 딥페이크를 이용한 위협을 분석하고 확인 프로세스 중심의 방어 전략을 제시합니다.

연재: AI 안전 활용 가이드 초급편 (총 3회)

피싱 사기는 아주 오래전부터 존재해 왔습니다. 하지만 이전의 사기 메일에는 「일본어가 이상하다」, 「URL이 명백히 다르다」와 같은 알기 쉬운 특징이 있었습니다. AI는 그 「조잡함」을 없애 버렸습니다.

지금 사기꾼들은 AI를 사용하여 유창한 일본어 메일을 대량으로 생성하고, 당신의 목소리와 닮은 클론 음성을 만들며, 지인의 얼굴을 비디오 통화에 사용합니다. 본 기사에서는 이러한 차세대 위협과 그럼에도 유효한 대책을 설명합니다.

사용되는 기술: 대규모 언어 모델 (LLM)에 의한 문장 생성

당신의 SNS나 공개 정보를 읽어 들여, 개인 이름·회사명·최근의 사건을 포함한 메일을 자동 생성합니다. 기존의 「이상한 일본어」가 없으며, 담당자의 이름까지 정확하게 적혀 있는 경우가 있습니다.

사용되는 기술: 음성 합성 AI (TTS / Voice Cloning)

가족이나 상사의 목소리를 몇 초~몇 분의 음성 샘플로부터 재현하여, 전화로 「지금 바로 송금해 달라」고 의뢰합니다. SNS의 영상이나 인터뷰 음원이 있다면 목소리 클론을 만들 수 있습니다.

사용되는 기술: 실시간 얼굴 변환 AI

비디오 통화 중에 상대방의 얼굴을 실시간으로 다른 사람으로 교체합니다. 2024년, 홍콩의 기업인이 CFO의 딥페이크(Deepfake)에 속아 약 35억 엔을 송금한 사건이 보고되었습니다.

다음은 가상의 예시이지만, AI 생성 사기 메일의 전형적인 구조를 보여줍니다.

발신자: tanaka.kenji@yamaha-corporatlon.co.jp ← ⚑ 주의 요망
제목: 【긴급】 근태 시스템 업데이트에 따른 비밀번호 재설정 요청
야마모토 님
...

⚑ 포인트 ① 도메인이 yamaha-corporatlon

——i가 l로 치환되어 있습니다 (시각적으로 알아채기 어렵습니다)

⚑ 포인트 ② 「오늘 중으로」라는 강한 기한 설정으로, 냉정한 판단을 방해하고 있습니다

⚑ 포인트 ③ 현재의 비밀번호를 물을 정당한 이유는 없습니다. 정규 시스템은 기존 비밀번호를 요구하지 않습니다

⚑ 포인트 ④ URL이 사내 시스템과는 무관한 외부 도메인을 가리키고 있습니다

이전의 사기 (간파하기 쉬웠음)	AI 시대의 사기 (간파하기 어려움)
문장	부자연스러운 일본어, 오타 및 탈자
...	...

「문장이 자연하니까 진짜다」라고는 이제 말할 수 없습니다. 판단의 근거를 콘텐츠의 품질에서 확인 프로세스로 옮겨야 합니다.

사기가 교묘해지더라도, 「다른 채널로 확인한다」는 원칙은 변하지 않습니다.

메일·SMS 내의 링크는 클릭하지 않도록 합시다. 공식 사이트의 URL은 직접 입력하거나, 미리 저장해 둔 북마크를 사용합니다.

「정보 시스템팀의 다나카 씨로부터 메일이 왔다」면, 그 메일에는 답장하지 말고 사내 시스템이나 전화번호부에서 실제 연락처를 찾아 전화합니다.

「지금 바로」, 「오늘 중으로」는 사기꾼이 자주 사용하는 압박입니다. 재촉받을수록 한 호흡 쉬고 확인하는 가치가 있습니다.

가족 사이에서 사전에 「본인 확인 암호」를 정해 두면 보이스 클론 사기에 유효합니다. 「아버지의 목소리로 들려도 확인한다」를 전제로 움직입시다.

AI가 사기의 「품질」 장벽을 제거했습니다. 향후의 판단 축은 「문장의 자연스러움」이 아니라 「확인 프로세스를 거쳤는가」입니다. 다른 채널을 통한 확인과 URL 직접 입력을 습관화합시다.

다음 회차는 어떤 AI 도구를 선택하면 좋은지, 설정으로 바꿀 수 있는 것은 무엇인지—— 「개인 거버넌스」의 사고방식을 정리합니다.

AI 자동 생성 콘텐츠