7월 9일, r/Bard의 한 사용자는 나노 바나나(nano banana)가 얼굴을 유지하는 능력이 떨어지고, 지시 사항을 무시하며, 레퍼런스(reference)를 다루는 방식이 나빠졌다고 설명했습니다. 7월 13일, r/GoogleFlow에는 이와 상반된 반대 보고서가 올라왔습니다. 작성자는 동일한 오류 메시지 없이 100장 이상의 이미지가 생성되었다고 보고했습니다.

두 관찰 모두 사실일 수 있습니다. 하지만 그 어느 것도 핵심적인 실무적 질문에는 답하지 못합니다. 모델이 나빠진 것일까요, 아니면 모델을 실행하는 조건이 변한 것일까요? 마감 기한 내에 불안정한 비주얼 결과물을 받아야 하는 팀에게 이 차이는 버그 리포트(bug report), 도구의 변경, 혹은 '품질'에 대한 무익한 논쟁 사이의 차이입니다.

우선 명칭부터 구분하십시오

6월 30일, Google은 속도와 규모가 중요한 작업을 위해 Gemini Image의 빠르고 경제적인 옵션으로 Nano Banana 2 Lite를 선보였습니다. 개발자 문서에서 이 모델은 gemini-3.1-flash-lite-image라고 불립니다.

Nano Banana라는 일반적인 이름을 사용하는 모든 결과가 반드시 이 모델을 의미하는 것은 아닙니다. Nano Banana 2, 2 Lite, 그리고 Pro는 표의 한 열에 함께 기록될 수 없습니다. 더욱이 Flow에서의 결과와 퍼블릭 API(public API)를 통한 결과가 동일한 조건에서 얻어졌다고 간주해서도 안 됩니다.

이는 Flow의 숨겨진 구조에 대한 주장이 아닙니다. 단지 인터페이스, 사용 가능한 티어(tier), 계정 및 모델 식별자(identifier)를 기록하지 않으면 비교 자체가 불가능하다는 뜻입니다. 테스트 노트에 적힌 'Banana'라는 단어는 퇴보(regress)를 추적하기에는 너무 광범위합니다.

불만 사항이 보여준 것과 보여주지 못한 것

7월의 불만 사항은 단 하나의 아티팩트(artifact)에 관한 것이 아니었습니다. 사용자는 세 가지 유형의 문제를 지적했습니다: 지시 사항 미이행, 이미지 간 얼굴 유지 능력 저하, 레퍼런스(reference)가 예상대로 작동하지 않음. 해당 게시물은 9개의 추천을 받았습니다.

이는 재현(reproduction)을 위한 유용한 신호이지만, 측정된 플랫폼 인시던트(incident)는 아닙니다. 정확한 이미지 세트, 프롬프트 문구, 모드, 시도 순서 및 계정 조건 등을 알 수 없습니다. 이러한 보고서만으로는 대규모 다운그레이드(downgrade)를 도출할 수 없습니다.

4일 뒤에 올라온 반대 보고서(counter-report) 또한 반박이 될 수 없습니다. 작성자는 논의 중인 오류 메시지가 없는 100장 이상의 이미지를 얻었으며, 해당 게시물은 13개의 추천(upvotes)을 받았습니다. 이는 단지 작성자의 입력 데이터와 환경에서는 문제가 나타나지 않았음을 보여줄 뿐입니다. 그는 다른 계정, 레퍼런스(reference), 그리고 프롬프트(prompt)가 반드시 동일하게 작동해야 한다고 말하지 않습니다.

여기서 중요한 전환점이 발생합니다. 직관적으로는 어느 한 편을 선택하고 싶어집니다. 즉, "모든 것이 망가졌다"라고 하거나, "내 환경에서는 잘 작동하니 불만은 근거가 없다"라고 하는 식입니다. 실질적으로 더 가치 있는 것은 제3의 관점을 인정하는 것입니다. 즉, 관찰된 내용들이 하나의 시스템에 대한 서로 다른 단면(slices)을 묘사하고 있다는 점입니다.

논쟁을 해결책으로 바꾸는 테스트

최소한의 회귀 테스트 도구(regression harness)는 거대한 벤치마크(benchmark)를 요구하지 않습니다. 그것은 규율(discipline)을 요구합니다.

하나의 레퍼런스 세트(reference set)와 하나의 프롬프트(prompt)를 고정하십시오. 그리고 다음 사항들을 별도로 기록하십시오:

• 선택된 모델 또는 사용 가능한 모델 명칭;
• 실행 환경: Flow 또는 API;
• 계정 티어(tier);
• 종횡비(aspect ratio);
• 시리즈의 날짜 및 시간;
• 모든 출력 이미지.

조건 변경이 의심되는 시점을 기준으로 전후 각각 20회의 실행을 수행하십시오. 만약 "이전" 데이터에 접근할 수 없다면, 일주일 전 결과가 어떠했는지에 대한 기억에 의존하지 말고, 명확하게 명명된 두 가지 구성(configuration)을 비교하십시오.

각 실행에 대해서는 단순히 "나쁘다"라는 일반적인 판정이 아닌, 하나의 결과값(outcome)이 필요합니다:

이러한 로그(log)가 Flow 동작의 내부 원인을 증명하지는 못할 것입니다. 하지만 서로 다른 증상들을 분리해낼 수는 있습니다. 전송 오류(transport error)가 시각적 품질의 저하와 동일한 것은 아닙니다. 안전성 결과(safety-outcome)가 레퍼런스 실패와 동일한 것도 아닙니다. 그리고 단 하나의 실패한 초상화가 모델의 퇴보(regression)와 동일한 것도 아닙니다.

Матрица same-input теста: условия запуска и пять типов исходов

가장 강력한 반론

20회의 실행은 너무 적으며 생성형 시스템(generative system)은 가변적(variability)이라고 정당하게 말할 수 있습니다. 이는 사실입니다. 이러한 테스트가 국소적인 관찰을 모델 전체에 대한 독립적인 평가로 바꾸어주지는 못합니다.

하지만 대안이 더 나쁜 이유는 그것이 "비과학적"이기 때문이 아니라, 논쟁의 대상 자체가 전혀 보이지 않기 때문입니다. 동일한 프롬프트 (prompt), 레퍼런스 (reference), 그리고 조건이 없다면 입력 드리프트 (input drift)와 모델 변경 (model change)을 구분할 수 없으며, 우연히 운 좋거나 나쁜 이미지 세트 자체가 그 자체로 논거가 되어버립니다.

따라서 20번의 실행은 Google에 대한 최종 판결을 내리기 위한 것이 아닙니다. 그것은 다음 단계의 조치를 취하기 위해 필요합니다.

• 고정된 하나의 구성 (configuration) 내에서 face, reference 또는 instruction이 반복된다면, 입력 (inputs), 출력 (outputs) 및 결과 분포를 포함한 버그 리포트 (bug report)를 작성하세요.
• 문제가 단 하나의 표면 (surface) 또는 티어 (tier)에서만 나타난다면, 이를 Nano Banana 전체의 퇴보 (regression)라고 부르지 마세요. 현상이 나타나는 경계 (boundary)를 기술하세요.
• 특정 레퍼런스 (reference)나 문구에서만 문제가 발생한다면, 먼저 입력을 수정하세요. 당신은 프롬프트 (prompt)/레퍼런스 (reference) 드리프트 (drift)에 대한 가설을 가지고 있는 것입니다.
• 원인 파악보다 예측 가능성이 프로젝트에 더 중요하다면, 동일한 입력을 여러 이미지 모델 (image-models)에 실행하고 저장된 결과들을 비교하세요. 이는 provod.ai의 재현 가능한 크로스 모델 테스트 (reproducible cross-model test)를 통해 구성할 수 있으며, 이때 비교 결과를 Flow의 동작 원인에 대한 설명으로 오인하게 해서는 안 됩니다.

팀을 위한 유용한 표현은 "나노 바나나가 나빠졌다"는 말보다 지루하게 들릴 수 있지만, 시간을 절약해 줍니다: "Flow에서, 특정 계정, 특정 레퍼런스, 특정 프롬프트 조건 하에 20번의 시도 중 이러한 유형의 실패가 반복되었습니다." 이 표현을 사용하면 의식적으로 도구를 변경하거나, 입력을 수정하거나, 문제를 다음 단계로 전달할 수 있습니다.

Дерево решений: что делать после same-input теста

provod.ai — 검색, 분석 및 응답 생성을 위한 단일 API

여러 개의 분산된 서비스 없이 문서 작업 워크플로우를 구축하세요: 검색을 위한 임베딩 (embeddings), 분석을 위한 추론 (reasoning), 그리고 최종 응답을 위한 적절한 모델을 사용하십시오.

하나의 카탈로그에서 텍스트 및 미디어용 최신 모델을 확인하세요: OpenAI의 GPT, Anthropic의 Claude, Google의 Gemini, xAI의 Grok, DeepSeek, Qwen, GLM, Kimi 및 MiniMax; 이미지용으로는 Nano Banana 2 Pro 및 GPT Image; 비디오용으로는 Seedance, Kling, Veo 및 Google Omni의 최신 버전이 제공됩니다. 또한 추론 (reasoning), 검색, 문서, 임베딩, 음악 및 오디오를 위한 모델도 사용 가능합니다.

각 구성 요소는 모델의 실제 가격에 따라 선택할 수 있습니다: provod.ai의 자체 추가 비용 없이 공식 요율이 1:1로 유지됩니다.

기업 지식 검색을 시작하세요: 등록 양식 · 모델 가격 · 152-FZ에 따른 데이터 보호 · 데이터 처리 정책

마감 기한이 임박했다면, 무엇을 선택하시겠습니까: 로컬 퇴보 (local regress)를 증명하는 데 시간을 허비하시겠습니까, 아니면 동일한 입력값으로 여러 모델을 비교하는 방식으로 전환하시겠습니까?