동일한 레이아웃, 변화하는 개수: 텍스트-이미지 모델에서 10을 초과하는 숫자 단어의 영향

SD3.5-Medium에 사물 12개를 요청한 다음, 동일한 시작 노이즈(starting noise)를 사용하여 25개에 대한 이미지를 생성해 보십시오. 그림은 레이아웃을 유지하지만, 개수는 새로운 무작위 시드(random seed)를 사용했을 때만큼 변하며 일관된 방향성을 보이지 않습니다. 우리는 다섯 가지 오픈 텍스트-이미지 모델에서 요청이 약 10개의 사물을 넘어설 때 숫자 단어들이 어떤 역할을 하는지 연구했습니다.

사물과 시작 노이즈를 고정하고 한 번에 하나의 요소만 변경했을 때, 요청에 대한 정보를 전혀 보지 못한 사람들은 총 3,088개의 이미지를 분석했습니다. 모든 모델은 적은 수의 사물에 대해서는 숫자를 따르지만, 그 도달점(reach)까지입니다: SD3.5-M과 FLUX.1-dev는 10을 넘어서자마자 숫자 추적을 중단하는 반면, FLUX.2 [klein]와 Qwen-Image는 최대 25개까지 느슨하게 숫자를 따릅니다.

SD3.5-M의 도달점을 넘어선 영역에서는 시작 노이즈의 거친 부분이 그림의 구성을 고정하지만, 사물의 개수는 그렇지 못합니다: 이미지의 8분의 1보다 미세한 노이즈만 다시 그리는 것은 레이아웃을 유지하는 것만큼 새로운 숫자가 하는 것처럼 보이며, 이미 개수를 3분의 2만큼 이동시킵니다. 숫자 단어는 여전히 디노이저(denoiser)에 도달하여 초기 단계에서 작용하지만, 우리가 시도한 어떤 것도 명확한 방향성을 제공하지 못합니다.

대신 시작 잠재 공간(starting latent) 내의 노이즈 그리드 형태로 나타난 개수는 추론됩니다: 사람들은 이를 59%의 이미지에서 발견했지만, 단순히 알려주기만 했을 때는 4%에 불과했습니다. 10을 넘어서면, 정확 일치 점수(exact-match score)는 숫자를 느슨하게 따르는 모델과 무시하는 모델을 간신히 구분할 수 있으며, 상대 오차 점수(relative-error score)는 심지어 16이라는 상수 추측값을 선호하기도 합니다. 사물당 몇 개의 요청을 사용하는 동일 노이즈 테스트가 이들을 구별해냅니다.