단 하루면 충분했습니다. 사용자가 가짜 이미지를 생성하여 실제 지도 이미지 위에 배치할 수 있게 했던 Google Earth AI 기능을 Google이 철수하는 데 걸린 시간 말입니다. Nano Banana 2를 기반으로 작동하는 이 도구는 조작된 재난, 분쟁 장면 또는 민감한 지역의 이미지가 실제 좌표와 연결된 것처럼 보이게 할 수 있다는 즉각적인 비판을 받았습니다, TechCrunch에 따르면.

Google은 목요일에 이 기능을 출시했으나, 사용자들과 연구자들이 기능의 한계를 테스트하는 것으로 보이는 사례들을 공유하기 시작하자 이를 폐기했습니다. 회사는 이번 조치를 영구적인 취소가 아닌 롤백 (rollback)으로 규정했습니다.

“우리는 지리 공간 전문가들이 다양한 유용한 목적으로 이 기능을 사용하는 것을 보았습니다. 하지만 우리의 정책을 위반하는 것으로 보이는 생성된 이미지의 스크린샷을 공유하는 사람들도 보았습니다.”라고 Google은 밝혔습니다. “우리는 더 강력한 가드레일 (guardrails)을 구현하기 위해 노력하는 동안 Google Earth에서 이 기능을 롤백 (rollback)하고 있습니다.”

출시 1일 만에, Google Google Earth에서 AI 이미지 기능 철수

Google Earth AI 기능은 프롬프트 (prompt) 기반이었습니다. 사용자들은 AI로 만든 이미지를 생성하여 Google Earth 내부의 실제 위성 스타일 지도 뷰 위에 겹쳐서 보여줄 수 있었습니다.

Google의 제안은 창의적인 지리학이었습니다. 하지만 위험은 명백했습니다. 실제 장소 위에 배치된 가짜 장면은 스크린샷이 찍혀 다른 곳에 게시되면 명백한 시각적 증거처럼 퍼져나갈 수 있기 때문입니다.

그것이 바로 Google이 제품 내부에서 통제할 수 없었던 부분이었습니다. 생성된 이미지가 다른 사용자들에게 Google Earth를 변경하지 않더라도, 스크린샷은 제품의 맥락이 제거된 채 소셜 플랫폼을 통해 퍼져나갈 수 있습니다.

한 BBC 기자는 목요일에 냉소적으로 우려를 요약했습니다:

“기자와 연구자들에게 가장 신뢰할 수 있는 시각적 증거 소스 중 하나인 Google Earth의 이 새로운 AI 이미지 생성 기능이 온라인에서 허위 정보를 퍼뜨리는 데 악용될 가능성이 전혀 없다는 것은 불가능합니다.”

이번 기능 철수는 Google이 자사의 제품군 전반에 걸쳐 AI를 지속적으로 밀어붙이고 있는 상황에서 발생했습니다. XOOMAR는 Google Pixel Tag 유출 사건과 Sonos에 가격 압박을 가하는 Google Home 스피커에 대한 보도를 통해 이러한 광범위한 Google 제품 사이클을 별도로 추적해 왔습니다. 하지만 이번 사례는 다릅니다. 이는 많은 기자, 연구자, 그리고 오픈 소스 조사관들이 참조 레이어 (reference layer)로 취급하는 제품과 관련이 있기 때문입니다.

가짜 Google Earth 장면, 몇 시간 만에 허위 정보 경보를 울리다

가장 강력한 비판은 신뢰성 세탁 (credibility laundering)에 집중되었습니다. AI로 생성된 이미지는 실제 지도, 실제 랜드마크, 또는 실제 분쟁 지역에 기반한 것처럼 보일 때 더욱 설득력 있게 느껴질 수 있습니다.

BBC Verify는 해당 도구를 테스트하는 동안 붕괴된 에펠탑 (Eiffel Tower), **기자의 대피라미드 (Great Pyramid of Giza)**를 삼켜버린 싱크홀, 그리고 우크라이나 수도에 있는 러시아 탱크를 생성할 수 있었다고 보고했습니다. 또한 AI 및 허위 정보 전문가인 Henk van Ess를 인용했는데, 그는 이란의 존재하지 않는 원자력 발전소, 미국-멕시코 국경의 난민 캠프, 그리고 근처에 폭격 흔적이 있는 가자의 가짜 병원 등을 포함한 가짜 이미지들을 생성했습니다.

Van Ess는 핵심적인 문제를 직설적으로 설명했습니다:

Google은 "발명된" 이미지가 "실제 좌표에 용접되고, 실제 이미지 위에 그려지도록" 허용했습니다.

그는 덧붙였습니다: "위조는 그 자체로 설득력 있게 보일 필요가 없습니다. 그것은 자신이 태어난 지도의 신뢰성을 물려받기 때문입니다."

이것이 Google Earth AI가 가진 가장 날카로운 위험 요소입니다. 가짜 이미지는 모든 전문가를 속일 필요가 없습니다. 단지 긴급한 사건이 발생하는 동안 검증 (verification)보다 더 빠르게 퍼져나가기만 하면 됩니다.

NPR 또한 이 도구를 테스트했으며, 실제로 일어나지 않은 사건인 **이란의 카르그 섬 (Kharg Island)**에 불이 난 모습과 **미국 국회의사당 (U.S. Capitol complex)**이 침수된 이미지를 생성했다고 밝혔습니다. NPR은 Bellingcat의 선임 연구원인 Jake Godin의 말을 인용하여, 위성 이미지는 역사적으로 조작하기 어려웠기 때문에 검증 (verification)에 있어 "어느 정도 안전한 선택 (safe bet)"이었다고 전했습니다.

여기서의 차이점은 배포 (distribution)입니다. 과거에 가짜 위성 스타일의 이미지를 만들려면 지도 뷰를 캡처하고, 다른 도구로 옮긴 뒤, 장면을 생성하거나 편집하고, 다시 공유하는 등 더 많은 단계가 필요했습니다. Google은 이 창의적인 단계를 참조 도구 (reference tool) 내부에 잠시 포함시켰던 것입니다.

Google은 자사 도구의 AI 콘텐츠에는 보이지 않는 워터마크 (watermarks)가 포함되어 있으며, 사용자가 Gemini나 Lens를 통해 불확실한 이미지를 확인할 수 있다고 밝혔습니다. BBC Verify는 이러한 확인 절차가 테스트 결과 대체로 효과적이었다고 말하면서도, Gemini를 속여 가짜 Google Earth 이미지가 진짜라고 말하게 만드는 것이 가능하다는 점도 지적했습니다.

AI가 지도 내부에 탑재될 때 Google이 직면하는 더 어려운 시험

Google Earth AI 기능은 지도와 결합된 생성형 도구들이 일반적인 이미지 놀이 도구보다 왜 더 민감한지를 보여줍니다. 호숫가에 있는 환상적인 오두막은 충분히 무해합니다. 하지만 병원 옆에 있는 가짜 분화구는 그렇지 않습니다.

위치 (Location)는 이해관계의 무게를 바꿉니다. 공공 안전, 분쟁 보도, 선거 주장, 그리고 재난 대응 또한 마찬가지입니다. 랜드마크, 국경 검문소, 군사 시설 또는 정부 건물의 합성 이미지 (synthetic image)는 그것이 어떻게 만들어졌는지 묻기도 전에 증거로 해석될 수 있습니다.

Google의 자체 성명은 두 가지 현실을 동시에 인정했습니다. 지리 공간 전문가 (geospatial professionals)들은 유용한 사례를 발견했지만, 다른 사용자들은 정책을 위반하는 것으로 보이는 스크린샷을 공유했다는 점입니다. 이러한 분열이 바로 까다로운 제품 문제 (product problem)입니다. 전문가들에게 충분히 강력한 도구는 출처 (provenance)에 신경 쓰지 않는 사람들에게 설득력 있는 가짜를 만들어낼 수도 있습니다.

이 지점에서 Google의 AI 추진 전략은 기존 정보 제품들에 구축된 신뢰와 충돌합니다. 검색 (Search), 지도 (Maps), Earth 이미지, 그리고 브라우저 보안은 모두 Google의 인터페이스가 신뢰할 수 있다는 사용자의 믿음에 의존합니다. XOOMAR는 다른 기술 영역에서의 Google AI 작업에 대해 AI Floods Chrome With 1,072 Security Bug Fixes in June에서 다룬 바 있지만, Earth의 문제는 소프트웨어 유지보수의 승리가 아닙니다. 이는 출시 단계에서의 신뢰성 실패입니다.

분석: 이번 기능 철회는 Google이 스크린샷 문제를 과소평가했음을 시사합니다. 제품 내부에서만 작동하는 가드레일 (Guardrails)은 이미지가 해당 제품을 벗어나는 순간 취약해집니다. 지도 기반 AI 도구에게 내보내기 (export) 동작은 부차적인 문제가 아닙니다. 그것이 주요 위협 채널입니다.

다음 신호는 Google이 더 강력한 라벨을 갖추고 Earth AI를 재출시할지 여부입니다

Google은 더 강력한 가드레일 (Guardrails)을 구축 중이라고 밝혔습니다. 즉각적으로 제기되는 실무적인 질문들은 다음과 같습니다: 출시 전 누가 이 기능을 테스트했는가, 어떤 프롬프트 (prompts)가 차단되었는가, 생성된 이미지는 어떻게 라벨링되었는가, 그리고 스크린샷이 Google Earth를 벗어난 후에도 식별 가능한 상태로 남을 수 있는가 하는 점입니다.

재출시 시에는 더 명확하고 눈에 띄는 라벨, 더 엄격한 프롬프트 제한, 더 강력한 공유 제어, 그리고 Google 자체 도구에만 의존하지 않는 탐지 기술에 대한 압박에 직면할 가능성이 높습니다. 소스에서는 Google이 무엇을 구현할지에 대해서는 언급하지 않았습니다.

더 넓은 교훈은 이미 눈에 보입니다. 생성형 AI (Generative AI)가 사람들이 현실을 확인하기 위해 사용하는 제품에 진입할 때, 유희적인 실험을 허용하는 여지는 빠르게 줄어듭니다. Google Earth AI 도구가 단 하루 정도만 지속된 이유는 상상과 증거 사이의 경계를 흐렸기 때문이며, Google은 기능을 다시 도입하기 전에 바로 그 경계를 다시 그려야만 합니다.

영향 분석

• 실제 위치와 결합된 AI 생성 이미지 (AI-generated imagery)는 온라인에서 가짜 사건을 더욱 신뢰할 수 있는 것처럼 보이게 만들 수 있습니다.
• Google의 신속한 기능 철회 (rollback)는 주요 플랫폼들이 생성형 AI (generative AI) 도구를 출시하기 전, 가드레일 (guardrails)을 설정하는 데 여전히 어려움을 겪고 있음을 보여줍니다.
• 저널리스트, 연구자, 그리고 대중은 지도 이미지를 증거로 신뢰하기 때문에, 지리 공간 도구 (geospatial tools)에 대한 신뢰는 특히 중요합니다.

원문은 XOOMAR에 게시되었습니다. 더 많은 뉴스 및 분석을 보려면 XOOMAR를 방문하세요.