웹사이트에 사용할 일러스트 지도가 필요했습니다. 해안가 구시가지의 동일한 항공 뷰를 유지하되, 사이트의 나머지 부분에서 이미 사용 중인 부드러운 일러스트 스타일로 말이죠. 저는 충분히 간단하다고 생각했습니다. 사진을 찍고, ChatGPT에게 일러스트로 바꿔달라고 요청하면 끝이라고 말이죠.

하지만 끝난 게 아니었습니다.

두더지 잡기 단계

첫 번째 결과물은 일러스트처럼 보였지만, 제가 사는 도시가 아니었습니다. 모델은 대략적인 형태만 유지한 채 나머지는 마음대로 만들어냈습니다. 존재하지 않는 시계탑, 잘못된 위치의 기념비, 그리고 실제 장소라기보다 일반적인 엽서처럼 느껴지는 스카이라인까지 말이죠.

그래서 저는 누구나 하는 방식을 따랐습니다. 수정을 요청했습니다.

"저 마커를 옮겨줘." "저 건물은 틀렸어." "탑을 제거해줘."

그리고 매번 수정을 할 때마다 조용히 다른 무언가가 망가졌습니다. 탑을 바로잡으면 항구가 어긋납니다. 항구를 고치면 공원이 잘못된 위치에 다시 생겨납니다. 각각의 프롬프트(Prompt)는 하나의 문제를 해결하고 두 개의 문제를 다시 일으켰습니다.

First illustration with hallucinated landmarks

문제는 문구(Wording)가 아니었습니다. 저는 모델에게 스타일을 바꾸는 것과 기억하는 것을 동시에 요구하고 있었고, 모델은 그림을 그리는 동안 지도를 고정된 상태로 유지할 수 없었던 것입니다.

더 나은 프롬프팅이 실제로 도움이 되었습니다

포기하기 전에 저는 지루한 부분을 제대로 해보려고 노력했습니다. 실제로 차이를 만들어낸 몇 가지 규칙들입니다:

• 목표부터 시작하세요. 이미지가 무엇을 위한 것인지 말하세요 — 표지, 소셜 미디어, 문서 등. 사용 사례 (use case)가 스타일을 좁혀줍니다.
• 단순히 사물이 아니라 개념을 설명하세요. 무엇이 나타나야 하는지 이전에, 무엇을 전달해야 하는지를 먼저 생각하세요.
• 시각적 스타일을 명시하세요. 미니멀 (Minimal), 에디토리얼 (Editorial), 사실적 (Realistic), 일러스트레이션 (Illustration) 등. 모호함은 AI 기본값의 뭉개진 결과물을 가져옵니다.
• 원하지 않는 것을 말하세요. 텍스트 제외, 사람 제외, 가공된 랜드마크 제외, "AI 느낌" 제외 등.
• 변경 사항과 유지해야 할 사항을 구체적으로 말하세요. "X를 변경하고 나머지는 모두 동일하게 유지해"는 단순히 "X를 변경해"라는 지시와는 매우 다른 지시입니다.
• 텍스트는 최소한으로 유지하세요. 포함하더라도 최대 5단어 이내로 하세요.
• 신뢰하는 레퍼런스를 지목하세요. Apple, Stripe, Linear, Vercel과 같은 스타일을 언급하세요.
• 한 번에 하나씩 반복하세요. 한 턴에 하나의 변경 사항만 적용하세요. 일괄 편집 (Batch edits)은 퇴보 (regressions)가 숨어드는 곳입니다.

마지막 규칙은 두더지 잡기 게임 같은 상황에 대한 해독제였고, 실제로 효과가 있었습니다. 두 번째 일러스트레이션이 더 근접했습니다.

Second illustration after applying prompt rules

하지만 "근접"했을 뿐 여전히 제가 원하는 스타일은 아니었고, 건물들은 실제 건물에서 계속 벗어났습니다. 저는 결코 목표에 도달할 수 없는 소스를 다듬고 있었던 것입니다. 이는 제가 처음으로 실제 디자인 작업에 AI를 사용했을 때 맞닥뜨렸던 것과 동일한 벽입니다 — 도구는 유능하지만, 당신이 건네주는 것에 의해서만 작동할 수 있습니다.

잘못된 레퍼런스 이미지 문제는 프롬프트만으로는 해결할 수 없습니다.

깨달음: 프롬프트가 아니라 소스를 바꾸세요

해결책은 프롬프팅과는 아무런 관련이 없었습니다. 저는 모델에 평면적인 사진을 제공하는 것을 멈추고, 더 나은 시작점을 제공했습니다: 바로 Google Earth의 3D 모델입니다.

Google Earth 3D view used as the new source

이 부분은 지도와 실제 장소에 특화된 부분입니다. 즉, 캡처할 수 있는 정답(Ground Truth)이 존재한다는 것입니다. Google Earth는 어떤 각도에서든 3D로 구현된 실제 기하학적 구조(Geometry)라는 진실을 우리에게 무료로 제공합니다.

지나고 보니 당연한 일이었지만, 이것이 모든 것을 바꾸어 놓았습니다. 3D 뷰는 모델에게 실제 기하학적 구조(Geometry) — 즉, 실제 건물의 부피, 실제 해안선, 언덕 위의 실제 공원 — 를 제공합니다. 이는 모델이 깊이(Depth)를 추측해야만 하는 단일한 평면 각도 대신에 제공되는 것입니다. 모델은 더 이상 구조를 만들어낼 필요가 없었습니다. 이미 정확하게 존재하는 것을 스타일만 변경(Restyle)하면 되었습니다.

깨끗한 베이스 이미지(Plate)를 얻기 위해 두 가지 설정이 중요했습니다:

• 렌더링 품질 (Rendering quality): 최고 (Highest). 모델이 잘못 읽을 수 있는 뭉개진 질감(Texture) 없이 날카로운 건물들을 확보합니다.
• 마커 및 레이블 끄기 (Turn off markers and labels). 이미지에 핀이나 지명이 포함되지 않도록 하여, 오직 도시만을 남깁니다.

Google Earth render-quality and marker settings

현실에 고정하기 (Anchor it to reality)

충실한 3D 캡처를 입력값으로 사용하자, 프롬프트는 더 짧고 단호해졌습니다. 핵심 지침은 창의성이 아닌 보존(Preservation)에 관한 것이었습니다:

모든 건물, 거리, 해안선을 있는 그대로 유지하세요. 기념물, 타워 또는 인물을 만들어내지 마세요. 렌더링 스타일만 부드러운 손그림 일러스트레이션(Hand-drawn illustration)으로 변경하세요.

이것이 랜드마크를 다루는 모든 비결입니다. 그대로 두면 모델은 빈틈을 그럴싸해 보이는 허구로 채워버립니다. 하지만 실제 기하학적 구조(Geometry)와 명시적인 "만들어내지 마시오"라는 지침이 주어지면, 모델은 환각(Hallucination)을 멈추고 그저 그려낼 뿐입니다.

Google Earth 베이스 이미지에서 나온 첫 번째 일러스트레이션은 즉시 정답에 가까웠습니다.

First illustration generated from the Google Earth source

해당 사이트에서 사용하는 편집 일러스트레이션 스타일과 정확히 일치하면서도 실제 도시를 충실히 재현했습니다. 제가 수십 번의 프롬프트를 통해 쫓아다녔던 결과물이 단 한 번의 시도 만에 나타났습니다. 입력값이 마침내 그럴 만한 가치가 있었기 때문입니다.

올바른 순서의 마커와 경로

지도에는 여전히 관심 지점(Points of Interest)과 그 사이를 잇는 경로가 필요했습니다. 제 본능은 AI에게 그것들을 추가해달라고 요청하는 것이었습니다. 하지만 잘못된 본능이었습니다. 그것은 AI에게 배치를 임의로 만들어내라고 요구하는 것이며, 임의로 만들어진 배치는 제가 오전 내내 씨름하며 싸워온 바로 그 문제였기 때문입니다.

대신 저는 먼저 실제 3D 뷰 상의 Google Earth에서 마커를 추가하고 경로를 그렸습니다.

Google Earth view with numbered markers and the drawn path

그런 다음 동일한 스타일 재구성 (Restyle) 프롬프트를 실행했습니다. 일러스트레이션은 정확한 위치와 경로를 그대로 물려받았고, 이제 다른 모든 요소와 마찬가지로 손으로 그린 듯한 스타일로 렌더링되었습니다.

Final illustration with the route and markers

똑같은 교훈을 다시 한번 얻었습니다. 정보를 소스(Source)에 직접 넣고, 모델은 오직 그것이 어떻게 보이는지만 바꾸게 하세요.

제가 실제로 배운 것

초기 노력의 대부분은 문제의 잘못된 절반에 쏟아부었습니다. 저는 약한 입력값(Input)을 가지고 최선을 다하고 있는 모델을 위해 계속해서 지침(Instructions)을 다듬고 있었습니다. 이는 스스로는 결코 도달할 수 없는 곳을 향해 AI를 계속 밀어붙이는 함정과 매우 유사한 상황입니다. 정답은 프롬프트를 한 번 더 입력하는 경우가 거의 없습니다.

가장 좋은 프롬프트는 더 나은 참조 이미지(Reference Image)입니다.

AI 이미지가 계속 빗나갈 때, 사람들은 본능적으로 더 영리한 프롬프트를 작성하려 합니다. 하지만 보통 더 빠른 해결책은 상류(Upstream)에 있습니다. 이미 진실을 포함하고 있는 소스 — 실제 기하학적 구조(Geometry), 실제 위치 — 를 제공하고, 프롬프트가 진정으로 잘하는 단 한 가지 일, 즉 스타일(Style)을 처리하게 만드세요.

지도는 이것을 명확하게 보여줍니다. 왜냐하면 포착해야 할 진실이 바로 그곳에 있기 때문입니다. 하지만 동일한 방식은 실제 무언가에 충실해야 하는 모든 것 — 제품, 평면도(Floor plan), 실제 장소 — 에도 적용됩니다. 모델에게 약한 근거로부터 무언가를 만들어내라고 요구하는 대신, 가장 가까운 진실된 소스를 찾아 그것으로부터 시작하십시오.

먼저 입력을 수정하세요. 그 이후에는 프롬프트가 쉬워집니다.