7월 21일, r/artificial의 한 사용자가 오리 원본 이미지 하나를 가져와 GPT Image 2, Muse, Nano Banana 2에 동일한 8단계 수정 체인을 부여하고 각 모델당 3회씩 실행했습니다. 그의 작업은 승자를 선언하려는 시도가 아니라, 검증 체계에 중점을 두었습니다. 즉, 27개의 평가 항목과 계산 질문 이후 모든 실행 결과물을 공개하는 방식입니다.

클라이언트 렌더링을 준비하는 팀에게 결론은 간단합니다. gpt image는 가장 운 좋게 나온 단일 프레임이 아니라, 시리즈가 사전에 정의된 조건을 유지할 수 있는지에 따라 평가해야 합니다. 아름다운 첫 번째 결과물은 승인을 받을 수는 있지만, 이미지 시리즈를 위한 안전한 근거를 제공하지 못할 수도 있습니다.

단일 프레임은 "이 프레임을 얻을 수 있는가"라는 질문에 답합니다. 반면 시리즈는 "작업을 반복했을 때 필요한 요소가 변함없이 유지되는가"라는 다른 질문에 답합니다. 이는 서로 다른 리스크이며 서로 다른 해결책을 요구합니다.

전체적인 인상 대신 네 개의 셀(Cell)

첫 번째 생성 전, 하나의 reference asset(참조 자산)과 네 개의 수락 셀(acceptance cells)을 고정하십시오:

이것은 모델의 순위를 매기는 것도, 결과에 대한 약속도 아닙니다. 이것은 고객과 작업자 사이의 공통 언어입니다. 작업을 시작하기 전에 무엇이 pass(통과)로 간주되는지, 무엇이 재시도나 작업 변경을 요구하는지를 명확히 하는 것입니다.

OpenAI의 Images 2.0 시스템 카드에는 하나의 prompt(프롬프트)로 여러 이미지를 생성할 수 있는 기능이 설명되어 있습니다. 하지만 여러 결과물을 얻을 수 있다는 사실 자체가 하나의 시리즈에 적합하다는 것을 증명하지는 않습니다. 수락(Acceptance) 과정은 "이미지가 생성되었다"와 "클라이언트 규모의 작업을 시작할 수 있다" 사이의 간극에서 반드시 필요합니다.

proof sheet(검증 시트)를 만드는 방법

동일한 reference asset과 하나의 짧은 수정 시퀀스를 사용하여 세 번의 동일한 실행을 수행하십시오. 결과를 확인한 후에는 기준을 변경하지 마십시오.

각 실행마다 그리드(grid)를 저장하고 네 개의 셀 각각에 pass 또는 fail을 표시하십시오. 그러면 가장 좋은 프레임이 아니라 작업의 한계(boundaries)를 보여주는 proof sheet이 완성됩니다.

1. 세 번의 반복 모두에서 통과하는 것.
2. 불안정하게 통과하는 것.
3. 짧은 테스트에서 이미 통과하지 못하는 것.

Сетка proof sheet из трёх прогонов и четырёх ячеек

미리 선택된 임계값(threshold)은 시리즈로의 전환을 결정합니다. 결과가 이 임계값에 도달하지 못한다고 해서 반드시 도구가 나쁘다는 것을 의미하지는 않습니다. 어쩌면 해당 작업에서는 객체 유지, 정확한 텍스트, 기하학적 구조(geometry), 그리고 필요한 구성에서의 스타일을 동시에 요구할 수 없는 것일지도 모릅니다. 첫 번째 아름다운 프레임을 승인한 이후에 이를 깨닫는 것보다, 세 번의 짧은 테스트(probe)를 통해 이를 확인하는 것이 더 낫습니다.

초기 결과가 변하는 지점

유혹은 매우 큽니다. 첫 번째 이미지가 고객의 마음에 들면, 즉시 작업을 계속하는 것이 합리적으로 보입니다. 하지만 승인 이후에 발생하는 후기 드리프트(late drift)는 프로젝트의 리스크가 될 수 있습니다. 만약 드리프트가 발견된다면, 팀은 기대치, 일정, 그리고 약속된 범위를 다시 조율해야 할 수도 있습니다.

반대 방향의 사용자 신호도 존재합니다. 7월 21일의 토론에서 한 작성자는 앵커 이미지(anchor image)가 있음에도 불구하고 페이지 시퀀스에서 스타일을 유지하는 데 발생하는 문제들을 설명했습니다. 다른 참여자들은 그 원인에 동의하지 않았으며 전후 비교를 요청했습니다. 이것이 퇴보(regression)의 증거라거나 모든 시나리오의 특성인 것은 아닙니다. 다만 이는 정확한 상기 사항입니다. 즉, 안정성에 대한 가정을 단일한 인상으로 대체해서는 안 된다는 것입니다.

강력한 반론: 테스트 또한 시간이 소요된다

단 하나의 표지나 개별 일러스트레이션의 경우, proof sheet은 과할 수 있습니다. 만약 고객이 정확히 한 프레임만을 구매하고 텍스트, 반사(reflection), 반복되는 스타일이 작업 범위에 포함되지 않는다면, 테스트 루프를 구축하지 않고 특정 결과를 수용하는 것이 더 합리적입니다.

하지만 시리즈의 경우 테스트의 비용이 달라집니다. 세 번의 짧은 실행은 의무(commitment)가 커지기 전에 시간을 소모합니다. 첫 번째 이미지를 승인한 후 재생성(re-generation)을 하는 것은 동일한 불확실성을 프로젝트의 값비싼 단계로 전이시키는 것입니다.

실무 규칙:

• 반복 가능한 객체, 텍스트, 기하학적 구조(geometry) 또는 스타일이 필요한 경우에는 proof sheet을 사용하세요.
• 시리즈 의존성 없이 단 하나의 독립적인 프레임만 필요한 경우에는 이를 의례적인 절차로 만들지 마세요.
• 이를 통해 일반적인 리더보드(leaderboard)를 도출하려 하지 마세요. 이것은 특정 브리프(brief), 레퍼런스 에셋(reference asset) 및 수정 사항 세트를 검증하는 과정입니다.

기준이 모델 외부에서 이미 고정되었다면, provod.ai를 세 번의 동일한 짧은 테스트를 위해 사용할 수 있습니다. 이 서비스는 기준을 대체하지 않으며 이미지 품질을 보장하지도 않습니다.

Сначала порог, потом серия

provod.ai — AI를 테스트 단계에서 지속적인 프로세스로 전환하세요

모델이 일상적인 업무의 일부가 될 때, 통합된 액세스, 명확한 결제 및 호환 가능한 API가 중요합니다: 이 플랫폼은 팀과 비즈니스를 위해 이러한 요소들을 결합합니다.

하나의 카탈로그에서 텍스트 및 미디어용 최신 모델을 확인하세요: OpenAI의 GPT, Anthropic의 Claude, Google의 Gemini, xAI의 Grok, DeepSeek, Qwen, GLM, Kimi 및 MiniMax가 포함됩니다. 이미지의 경우 Nano Banana 2 Pro 및 GPT Image가 제공되며, 비디오의 경우 Seedance, Kling, Veo 및 Google Omni의 최신 버전이 제공됩니다. 또한 추론(reasoning), 검색, 문서, 임베딩(embeddings), 음악 및 오디오를 위한 모델도 사용할 수 있습니다.

지속적인 작업은 투명한 가격을 기반으로 구축됩니다: provod.ai 자체의 추가 마진 없이 모델의 공식 요금이 1:1로 전달됩니다.

워크플로우 AI 컨투어(AI-contour)를 구축하세요: 등록 양식 · 모델 가격 · 152-FZ에 따른 데이터 보호 · provod.ai 메인

다음 시리즈를 위해 무엇이 더 비용이 많이 들까요: 승인을 받기 위해 세 번의 실행(run)에 시간을 소비하는 것인가요, 아니면 강력한 프레임 하나를 수용하고 클라이언트 렌더링 단계에서 드리프트(drift)를 발견할 위험을 감수하는 것인가요?