Black Forest Labs의 FLUX 3 Image 는 요소별 경계 상자로 이미지 구도를 지정하고, 생성 후에도 상자 단위로 여러 부분을 편집할 수 있는 이미지 생성/편집 모델임
레이아웃 프롬프트 는 전체 장면 설명과 요소별 ID, 좌표, 묘사로 구성되며, 직접 상자를 그리거나 LLM에 한 줄 설명과 화면 비율을 주어 배치를 계획하게 할 수 있음
기존 이미지에서 색상 변경, 대상 교체, 위치 이동 등 여러 국소 편집 을 한 번에 적용하며, 손대지 않은 요소의 위치와 구성을 유지함
최대 10개 참조 이미지 를 조합하고, 네이티브 2K/4K 생성 으로 질감, 얼굴, 색상 같은 작은 세부 요소를 전체 해상도에서 렌더링함
상자 없이 텍스트 프롬프트만으로도 생성 할 수 있으며, Playground와 BFL API를 통해 직접 배치하거나 에이전트가 계획한 구도로 이미지를 만들 수 있음
경계 상자로 구성하는 이미지
FLUX 3 는 영상, 오디오, 이미지, 행동을 위한 Black Forest Labs의 멀티모달 모델이며, FLUX 3 Image 는 이미지 생성과 편집을 담당함
이미지의 중요한 요소마다 경계 상자(bounding box) 를 그려 내용을 설명하고, 요소들을 연결하는 장면 프롬프트를 입력하면 각 요소를 지정한 상자 안에 렌더링함
화면 비율을 먼저 선택하며, 캔버스 모양과 무관하게 두 축 모두 0~1000 좌표계 를 사용함
상자 좌표는 [y_min, x_min, y_max, x_max]
순서로 작성함
레이아웃 프롬프트 는 전체 이미지를 설명하는 전역 캡션과 JSON 배열 형태의 요소 테이블로 구성됨
요소마다 한 행을 사용하며 id
, bbox
, desc
필드를 담음
캡션은 각 요소가 처음 등장할 때 animal_1
같은 해당 ID를 참조함
경계 상자는 위치 관계가 엄격한 구성 에 적합함
사진 주위의 글자 배치, 콜라주와 패널 격자, 펼침면 편집 디자인, 모든 얼굴의 위치가 정해진 복잡한 장면 등에 사용할 수 있음
장면 구성 예시
Le Festival du Soleil
데모는 황혼의 만 위로 빛나는 콘크리트 돔과 그 앞 해변의 군중을 장면 프롬프트로 연결하고, 다음 다섯 요소를 배치함
Fr_Text_1
, [10, 200, 170, 800]
: 밝은 크림색의 가늘고 우아한 세리프체로 "LE FESTIVAL DU SOLEIL"
을 지정함
town_1
, [280, 700, 420, 1000]
: 언덕 기슭 해안 마을의 희미한 불빛과 작은 건물들을 지정함
dome_1
, [250, 150, 650, 850]
: 밝은 콘크리트로 된 거대하고 매끄러운 포물면 돔을 지정함
swimmers_1
, [580, 200, 720, 800]
: 어두운 물속에 흩어져 걸어 다니는 수십 명의 작은 실루엣을 지정함
crowd_1
, [740, 0, 1000, 1000]
: 밝은 여름옷을 입고 해변에 앉은 많은 사람을 지정함
다른 구성 예시로 Five frames of winter
, Knitted iceberg village
, Up from the subway
가 있음
프롬프트만으로 생성하기
경계 상자를 사용하지 않는 텍스트 기반 생성 도 지원하며, 높은 프롬프트 준수 능력과 구도에 대한 내재적 이해를 내세움
2:3 비율 이미지 15개 의 갤러리에서 인물, 패션, 그래픽 디자인, 풍경 등 다음 예시를 볼 수 있음
여성의 스튜디오 측면 사진에서는 연한 파랑/주황/라임색 줄무늬 모헤어 후드를 턱 아래에 묶었으며, XU ZHI
패션 콜라주에서는 검은 프린지 니트웨어 모델이 점토 조각 사이를 걸어감
경주 장면에서는 프로토타입 경주차 네 대가 푸른 황혼의 젖은 곡선 트랙에서 전조등을 켜고 물보라를 일으킴
The Wooden Chair
연필 분해도는 크림색 종이에 따뜻한 색감의 나무 좌판과 부품별 명칭을 담음
룩북에는 코발트색/녹슨 붉은색/흰색 블록을 배경으로 벨벳, 모헤어, 에나멜 의상을 입은 모델 다섯 명이 등장함
여성 사진에서는 코발트색 배경에 빨간 Manager
문구와 빨강/노랑 소맷단이 있는 크림색 티셔츠를, 런웨이 클로즈업에서는 연보라색 체크 셔츠 위에 코발트색 틴셀 스웨터를 입은 모델을 보여줌
우표 예시는 짙은 초록색 펠트 위에 놓인 1975년 콩고 항공우표로, 달리는 단거리 선수 두 명과 액면가 150F
를 담음
하이앵글 사진 속 긴 땋은 머리 여성은 주황색 조명 아래 흰 헤드셋을 쓰고 팔짱을 끼고 있음
디자인 저널 표지는 흰 배경에 나무판자 탑 세 개와 파란 세리프체 Tools
를 배치함
폭포 항공 사진에서는 물이 녹색 숲을 지나 안개 낀 웅덩이로 떨어짐
산호색/초록색 리소그래프 포스터 The Seed Parade
는 거대한 씨앗이 뿌리 다리로 점무늬 거리를 행진하는 모습을 담음
드론 사진에서는 여성 두 명이 바나나 농장의 흙길에 거대한 주름 장식 빨간 드레스를 펼치고 있음
평면 검정 그래픽은 크림색 배경에 페도라 아래 둥근 눈 두 개와 가느다란 다리 두 개를 배치함
플래시 필름 사진 속 인물은 울창한 숲길에서 하늘색 후드를 뒤집어쓰고 양팔을 벌리고 있음
여러 영역을 한 번에 편집하기
기존 이미지의 상자별 설명을 다시 쓰거나, 다른 대상으로 교체하거나, 위치를 옮겨 여러 국소 편집을 한 번에 적용할 수 있음
손대지 않은 요소는 원래 위치를 유지하므로 반복 편집에서도 구성이 유지됨
서퍼 색상 변경 예시는 ref_image_0
의 웨트슈트와 서핑보드만 밝은 빨간색으로 바꿈
surfer_wetsuit
는 검은 웨트슈트에서 빨간 네오프렌 웨트슈트로 바꾸되 기존 핏과 하이라이트를 유지함
surfboard
는 흰색에서 빨간색으로 바꾸되 형태와 반사를 유지함
ocean_wave
와 cloudy_sky
를 잠그고, 크게 솟아오르는 파도와 흐린 하늘, 나머지 흑백 구성을 정확히 유지하도록 지시함
피사체 교체 예시는 서리 낀 길 왼쪽의 작은 의인화된 늑대 wolf_1
을 개로 바꿈
원래 늑대는 흘러내리는 로브와 칼집에 든 검을 지니고 움직임 없이 서 있으며, 검은 실루엣과 그늘진 얼굴의 얼음빛 파란 두 눈을 가짐
전경 대나무 bamboo_4
, 쓰러진 속 빈 통나무 log_1
, 얼어붙은 개울 stream_1
, 석등 lantern_1
을 잠금 처리함
빛을 받은 위쪽 잎, 그늘진 줄기, 서리 덮인 아래쪽 줄기와 지면, 비스듬한 광선, 떠다니는 서리 조각, 앉아 있는 작은 새도 유지하도록 지정함
그림 교체 예시는 흰 종이 paper_1
위의 추상 목탄/잉크 드로잉 drawing_1
을 식물 수채화/잉크 삽화로 바꿈
기존의 자유로운 검은 선, 불규칙한 낙서, 해체된 지도나 건축 스케치 같은 기하학적 면을 유기적 형태, 청록색/금색 식물 모티프, 섬세한 선으로 교체함
그림의 기존 크기와 중앙 배치를 유지하고, base_layer_1
, paper_1
, card_1
, coil_1
, En_Text_1
은 변경하지 않도록 지정함
질감 있는 배경, 연회색 카드, 초록색 나선형 코일과 "From Canon\nto Critique:\nDecolonizing\nGraphic Design\nPractices and\nChallenging\nNorms"
문구를 보존함
별도의 픽셀 단위 정밀 편집 은 원본을 보존하면서 원하는 부분을 수정하는 기능임
잠수부 두 명 추가, 오리 교체, 새 소파, 셔츠에 인쇄, 머리카락 색상 변경 예시가 있으며, 잠수부 추가는 편집 전후 비교를 제공함
최대 10개 이미지의 참조 요소 조합
최대 10개 참조 이미지 를 추가하고, 추가 순서대로 부여되는 ref_image_0
등의 토큰을 한 줄 장면 설명에서 인용함
FLUX 3가 각 참조 요소의 위치와 크기를 결정한 뒤 전체 화면을 렌더링함
다중 참조 갤러리 에는 Times Square 스트리트웨어 인물 사진, 아이 방, 닭 집, 오로라 아래 코트, 숲의 나무 구멍, 오로라 해변이 있음
Times Square 장면은 조끼, 티셔츠, 청바지, 더플백, 비니, 운동화의 참조 이미지 여섯 개를 사용함
닭 집은 닭, 벽, 둥지, 바닥, 기반, 달걀을 서로 다른 이미지에서 가져오도록 지시함
오로라 아래 코트는 코트와 오로라 참조를 결합하고, 지면에는 다른 이미지의 날개 비늘을 적용함
숲 장면은 이끼 낀 나무줄기의 구멍에 올빼미를, 옆 가지에 참새를 배치함
해변 장면은 밤 해변에 무용수 두 명과 해식 기둥을 배치하고 두 사람 사이에 거품 형상을 넣음
네이티브 고해상도 렌더링
네이티브 2K/4K 생성 은 전체 해상도에서 렌더링해 질감, 얼굴, 색상 같은 작은 세부 요소를 보존함
소바 가게 예시는 모델이 직접 생성한 5456 × 3072픽셀, 16.8MP 이미지임
확대 화면에서 이미지 파일 기준 높이가 약 225픽셀인 조명 간판의 손글씨를 보여줌
내부 조명이 종이와 골조를 통해 비치는 등롱의 문자, 유리창 너머 손님 손에 들린 젓가락도 보여줌
다른 4K 예시 로 붉은 말, 주택 단지, 스튜디오 계단이 있음
에이전트 배치 계획과 프롬프트 확장
에이전트 기반 생성 은 프롬프트 입력, 배치 계획, 선택적 조정, 생성 순서로 진행함
한 줄 프롬프트와 화면 비율을 받은 LLM이 캡션과 요소 테이블을 작성하고, 중요한 요소마다 경계 상자와 의미를 담은 ID를 부여함
모든 상자는 계속 편집할 수 있으며, 원하는 요소만 이동하면 나머지는 에이전트가 정한 위치에 유지됨
FLUX 3는 계획된 배치 안에서 각 요소를 지정된 상자에 생성함
Swan Lake 예시 는 어두운 관객 실루엣 너머 무대 옆에서 바라본 발레리나 세 명의 장면임
요소 테이블에는 observer_1
, observer_2
, man_1
, ballerina_1
, ballerina_2
, ballerina_3
의 ID와 경계 상자가 있음
다른 예시에는 지하철에서 올라오는 장면, 정원 옆 저녁 식사, 도구 잡지, 16가지 배치가 있음
프롬프트 업샘플러 는 짧은 요청을 FLUX 3 학습에 사용된 형태의 상세한 캡션으로 확장함
사용자 상자에 맞춰 캡션을 쓰거나 추가 요소를 제안할 수 있지만, 사용자가 그린 상자의 ID와 좌표는 변경 없이 모델에 전달함
업샘플러가 추가한 요소는 캡션에서 참조하는 경우에만 유지됨
사용 경로와 상업용 가중치
Playground 에서 직접 상자를 그리거나, BFL API 로 레이아웃 프롬프트를 전송할 수 있음
사용 정보는 FLUX 3 Image 문서 에서 확인할 수 있음
대규모 이미지 생성을 운영하는 기업에는 상업용 가중치 라이선스 를 제공하며, 자체 인프라에서 미세 조정하고 배포할 수 있음
댓글과 토론