세 가지 이미지 모델이 70%를 50%로 바꾸려 했습니다. 하나는 잘못된 텍스트를 변경했습니다.

저희는 세 가지 이미지 편집(image-editing) 모델에게 상점 간판에 있는 '70%'를 '50%'로 변경하도록 요청했습니다. 한 모델은 대신 큰 글씨인 'SALE'을 변경했고, 원래의 '70%'는 그대로 남겨두었습니다. 두 번째 시도에서도 같은 실수를 저질렀습니다.

나머지 두 모델은 요청된 숫자는 변경했지만, 주변 이미지까지 함께 변경되었습니다. 이 점이 단순히 새로운 텍스트가 읽기 쉬운지에 대한 질문보다 실험을 더 흥미롭게 만들었습니다.

이것은 모델 벤치마크(model benchmark)나 순위 매기기가 아닌, 실제 사진을 사용한 작고 실용적인 탐구입니다. 출력물은 제품 예시를 위해 생성되었으며, 각 모델은 다른 API 설정과 서로 다른 출력 크기를 사용했습니다.

설정: 하나의 간판, 세 가지 모델

원본 이미지는 'WEEKEND SALE' 및 'UP TO 70% OFF'라는 문구가 적힌 빨간색 간판이 있는 상점 창문 사진입니다. 과제는 '70%'를 '50%'로 대체하고, 글자체와 원근감을 일치시키며, 다른 모든 것은 그대로 두는 것이었습니다.

원본 사진은 [Markus Spiske on Unsplash]가 촬영했으며, [Unsplash 라이선스]에 따라 사용되었습니다. 이후 버전의 이미지는 AI로 편집된 것입니다.

저희는 동일한 이미지와 초기 지침을 Grok Imagine Image 2.0, Nano Banana 2.1, 그리고 Qwen 2.1에 전송했습니다. 다음은 해당 초기 요청에 사용된 실제 프롬프트입니다:

Replace only the following text in the provided image:
1. "70%" -> "50%"

...

이 지침은 저희의 목표를 설명할 뿐이며, 대상 영역 바깥의 픽셀이 변경되지 않음을 보장하지는 않습니다.

실패: 잘못된 텍스트가 변경된 그럴듯한 간판

첫 번째 Qwen 출력물은 큰 글씨 'SALE'을 '50%'로 대체하고, 아래 줄에 있던 원래의 '70%'는 그대로 남겨두었습니다. 동일한 교체 지침을 사용한 두 번째 시도에서도 같은 실수를 저질렀습니다.

첫 번째 Qwen 출력 결과입니다. 사인은 언뜻 보기에는 그럴듯해 보이지만, 요청된 수정 사항을 반영하지 못했습니다.

이후 대체 대상을 전체 할인 라인으로 변경했습니다:

1. "UP TO 70% OFF" -> "UP TO 50% OFF"

나머지 프롬프트는 동일하게 유지되었습니다. 이 후반부 출력 결과는 'SALE'을 보존하고 의도했던 라인을 변경했습니다:

전체 라인 교체 지침을 사용한 후반부 Qwen 출력 결과입니다.

더 많은 컨텍스트를 제공했을 때 이 예시에서는 사용 가능한 결과가 나왔습니다. 몇 번의 시도만으로는 그 변경 사항이 얼마나 신뢰성 있게 도움이 될지 알 수 없습니다. 이미지 생성은 호출마다 달라지며, 최종 지침 또한 초기 지침과 달랐기 때문입니다.

다른 결과들: 정확한 텍스트, 변경된 세부 사항

Grok과 Nano Banana 모두 초기 출력물에서 큰 'SALE'을 유지하면서 하단 라인을 'UP TO 50% OFF'로 변경했습니다.

초기 프롬프트를 사용한 Grok 출력 결과입니다.

초기 프롬프트를 사용한 Nano Banana 출력 결과입니다.

요청된 숫자는 두 이미지 모두에 정확하게 포함되어 있지만, 글자와 빨간색 표면은 원본과 다릅니다. 이들은 생성된 렌더링이며, 정확한 글꼴 일치나 픽셀 보존 교체를 보장하는 것은 아닙니다.

초기 세 번의 호출은 이미지와 프롬프트를 공유했지만, 그들의 매개변수(parameters)와 출력 차원(output dimensions)이 동일하지 않았습니다. 나중에 Qwen이 성공한 사례는 다른 지침을 사용했습니다. 이 이미지는 가능한 결과의 유용한 예시일 뿐, 한 모델이 일반적으로 다른 모델보다 우월하다는 증거는 아닙니다.

두 번째 실패 사례: 메뉴판의 작은 숫자

우리는 또한 칠판 메뉴 가격을 2,5에서 2,8로 변경하는 것을 시도했습니다. 첫 번째 Grok의 출력은 2,6으로 작성되었습니다. 나중에 발생한 Nano Banana 호출에서는 요청된 2,8이 작성되었습니다.

원본 사진은 [Annie Spratt on Unsplash]에서 제공되었으며, [Unsplash 라이선스]에 따라 사용되었습니다. 두 번째와 세 번째 이미지는 AI로 편집된 것입니다.

이들은 서로 다른 모델과 종횡비(aspect-ratio) 설정을 사용한 개별 호출이었으며, 일대일 비교가 아닙니다. 그럼에도 불구하고 이 실수는 여전히 교훈적입니다. 이미지의 나머지 부분이 설득력이 있을 때 작은 오기(wrong digit)는 쉽게 놓칠 수 있습니다.

우리는 또한 Grok에게 가게 간판을 10am - 4pm에서 10am - 6pm으로 변경하도록 요청했습니다. 첫 번째 요청은 이미지 없이 제공자 오류(provider error)를 반환했으며, 별도의 재시도(retry)를 통해 시간을 변경했고 주변의 나무, 벽돌, 창문 디테일이 다시 그려졌습니다.

세 가지 예시 전반에 걸쳐 총 8개의 요청이 이미지를 반환했습니다. 그중 5개 출력물은 저희의 텍스트 검사를 통과하여 웹사이트용으로 선택되었고, 3개는 잘못된 편집을 포함하고 있었습니다. 추가로 1개의 요청에서는 제공자 오류(provider error)가 발생했습니다. 여기에 표시된 이미지는 웹에 맞게 크기가 조정되고 압축된 것이며, 생성된 콘텐츠를 수동으로 수정하지 않았습니다.

현재 우리가 확인하는 사항

이러한 예시들을 통해 다음과 같은 간단한 검토 루틴을 만들었습니다:

1. 새로운 텍스트를 문자 그대로 읽기. 요청과 비교하여 모든 문자, 숫자, 구두점을 확인합니다.
2. 변경되어서는 안 될 텍스트를 읽기. 모델은 Qwen이 'SALE'에서 했듯이 잘못된 줄을 변경할 수 있습니다.
3. 전체 크기로 글자와 주변 환경을 비교하기. 글자 모양, 간격(spacing), 원근감, 질감, 그리고 근처의 사물에 변화가 있는지 살펴봅니다.
4. 더 많은 맥락을 보장이라기보다는 또 다른 시도로 취급하기. 대상이 모호한 경우 전체 줄을 지정하는 것이 시도해 볼 가치가 있을 수 있지만, 새로운 결과는 여전히 검토가 필요합니다.

만약 정확한 서체(typeface), 편집 가능한 텍스트 레이어, 또는 변경되지 않은 배경이 필수적이라면, 원본 디자인 에셋(original design assets)을 활용하는 것이 더 적합할 수 있습니다.

이미지 편집 워크플로우를 구축하는 분들을 위한 질문입니다: 생성된 편집물이 다른 곳에 원치 않는 변화를 도입하지 않으면서 의도한 텍스트만 변경했음을 어떻게 검증하시겠습니까?

원문은 ImageTextTools blog에 게시되었습니다.