Linum이 차기 영상 모델을 위한 개념 검증으로 Pyramid-JiT(P-JiT) 이미지 생성 모델을 실험적으로 공개함. 사전학습과 후속학습에 든 GPU 비용은 총 21,038달러 임
별도 VAE 없이 픽셀 공간에서 압축과 생성을 함께 학습 하며, 32×32 토큰 축소로 기존 Linum v2 대비 어텐션 문맥 길이를 4분의 1로 줄임
DiT 중간 블록에서 저해상도 이미지를 예측 해 초기 블록의 기울기 신호를 강화함. 초기 실험에서는 Linum v2보다 11배 적은 샘플로 수렴했으며, 이번에는 총 약 6억 6,000만 샘플까지 학습을 확대함
2B 규모 DiT와 4B 텍스트 인코더 를 사용하고, 512²에서 사전학습한 뒤 1024²로 해상도를 높임. 후속학습에는 FDFO 변형과 이미지 평가 모델, 사람의 평가를 활용함
텍스트가 많은 이미지를 학습 데이터에서 제외해 글자나 포스터를 생성하지 못함 . 전신, 다수 객체, 여러 사람의 상호작용, 세계 지식도 취약한 영역임
영상 모델의 비용을 낮추기 위한 P-JiT 검증
Linum의 목표는 애니메이션 제작 접근성을 높이는 창작 도구이며, Linum v3 개발에서는 추론 비용을 크게 낮추는 것을 우선함
현재 생성형 영상 모델은 느리고 비싸며, 충분한 제어 수단도 부족함
제작과 수정을 반복하는 창작 과정에서 비용과 제어의 제약은 스토리텔링 활용을 어렵게 함
이번 21,000달러 규모 학습 은 차기 영상 모델로 가는 과정의 개념 검증임. 모델 크기에 비해 결과가 좋아 실험적 공개를 결정함
생성형 영상 모델은 보통 이미지 모델에서 출발하며, 사람과 장소, 사물 등을 학습한 뒤 동작과 움직임을 학습함
초기 5,000만~1억 샘플 실험에서 성과를 보인 아키텍처가 약 6억 샘플 규모에서도 잘 작동하는지 검증하고자 함
VAE를 없애고 어텐션 문맥을 줄이는 이유
영상 학습과 추론의 병목은 O(n²) 어텐션 이며, 더 강한 압축으로 문맥 길이를 줄이면 두 비용을 모두 낮출 수 있음
별도 VAE 에 압축을 맡기는 방식이 반드시 최적은 아님
VAE의 압축률에는 경험적 한계 가 있으며, 더 높은 압축에는 Minimax H3의 2B 디코더 같은 큰 구조 변경이 필요함
VAE의 재구성 성능이 좋아져도 후단 확산 모델의 생성 품질은 나빠질 수 있음
P-JiT는 더 강력한 생성 모델 계열인 확산 모델이 압축과 생성을 동시에 학습 하도록 함
다른 모델의 잠재 공간을 사용하는 대신 자체 용도에 맞는 잠재 공간을 학습하면 더 강한 압축과 빠른 학습이 가능하다는 가설에 기반함
기존 Linum v2 는 Wan VAE와 DiT를 결합한 비교적 표준적인 구조로, FLUX-2 등과 같은 16×16 토큰 축소를 사용함
P-JiT는 32×32 축소를 사용해, 기존 256² 이미지와 같은 토큰 수로 512² 이미지를 표현함
초기 실험에서 토큰 축소는 4배 강해졌고, 수렴에 필요한 샘플은 11분의 1로 줄어듦
구조 개발 과정은 JiT-DDT 와 P-JiT 에 정리돼 있음. 핵심 변경은 세부 묘사 학습을 돕는 노이즈 스케줄 과 DiT 본체 중간의 출력 헤드임
모델 구조와 중간 감독 신호
추론 시 파라미터는 2.18B 이며, 학습 전용 헤드 약 0.24B를 더하면 학습 시에는 약 2.42B 임
텍스트와 이미지는 각각 단일 모달리티 정제용 DiT 블록 2개를 거친 뒤, 동일한 DiT 블록 22개로 구성된 하나의 흐름으로 합쳐짐
고정된 Qwen3.5-4B 의 전체 어텐션 계층인 7, 15, 27번 층에서 표현을 추출하고, 이어 붙여 투영한 뒤 텍스트 정제 블록에 넣음
이미지는 32×32 패치로 나누며, RGB 기준 3,072차원을 1,024차원으로 압축한 뒤 이미지 정제 블록의 차원으로 투영함. 패치 표현의 압축비는 3:1임
REPA , RAE-v2 , Self-Flow 는 모두 DiT 초기 블록의 약한 기울기 를 문제로 다룸
픽셀 공간에서는 각 블록이 최종 이미지의 한 버전을 예측할 수 있으므로, 중간에 저해상도 이미지 예측을 추가해 초기 기울기를 강화하고 수렴을 가속함
5번 블록에는 2층 PixelREPA 출력 모듈을 두어 잠재 공간을 DINOv3-L에 정렬함
은닉 상태 토큰의 20%를 가린 뒤 2층 트랜스포머로 같은 이미지의 DINOv3-L 특징을 예측함
10번과 16번 블록 뒤의 선형 출력 헤드는 각각 4분의 1 해상도와 절반 해상도의 깨끗한 이미지를 예측함
총 손실은 중간 출력과 최종 출력의 MSE , PixelREPA 코사인 거리, 전체 해상도 이미지의 지각 손실인 LPIPS 와 P-DINO 를 합산함
각 DiT 블록에는 Z-Image 를 따른 저랭크 AdaLN 으로 타임스텝 조건을 주입함
타임스텝 임베딩을 256차원으로 축소하며, 이미지 정제부와 본체는 축소 투영을 공유하고 텍스트 정제부는 별도 투영을 사용함
블록별 확장 투영으로 스케일과 게이트를 만들며, 0으로 초기화해 각 블록이 항등 변환으로 시작하도록 함
은닉 차원은 2,944, 어텐션은 128차원 헤드 23개이며, FFN 내부 폭은 본체 5,376, 정제부 2,816임
노이즈 커리큘럼과 고해상도 전환
첫 8,000만 샘플 에서는 높은 노이즈에 집중해 기본 구조를 익히고, 이후 노이즈 분포를 넓혀 세부 묘사를 학습함
타임스텝 분포는 LogitNormal(0.8, 0.8)
에서 LogitNormal(-0.2, 1.0)
으로 전환함
검증 손실은 각 단계 해상도의 고정 정사각형 이미지 20,480장으로 측정함. 8,000만 샘플 시점의 손실 급등은 분포를 넓힌 직후 첫 평가에 해당함
EMA 는 구조와 세부 표현을 어느 정도 익힌 1억 샘플부터 시작함
512² 단계의 반감기는 400만 샘플이며, 기울기 노름이 이동 중앙값의 10배를 넘으면 EMA 갱신을 250스텝 중단함
1024² 단계는 512² EMA 가중치 에서 새 옵티마이저로 시작함
해상도 증가에 따른 정보 중복을 고려해 노이즈 스케일을 2에서 4로 높임. 근거는 JiT 부록 A 를 따름
더 높은 노이즈와 정밀한 세부 재현 요구로 전체 손실은 높아지지만, 이미지 품질은 빠르게 개선됨
RoPE 보간에서는 512² 기준 격자를 유지하고 1024² 패치 인덱스에 ½을 곱해 좌표를 맞춤
새 해상도에 적응한 뒤 평균을 내도록 200만 샘플부터 EMA를 시작하며, 반감기도 200만 샘플로 설정함
학습 규모, 설정과 비용
사전학습은 512² 약 6억 1,000만 샘플 , 1024² 약 5,000만 샘플 순서로 진행함
각 단계에서 정사각형을 포함한 5개 종횡비를 20%씩 사용하고, 이미지 크기를 재조정하지 않음
전역 배치 크기는 2,048이며, H100 64개를 8개 노드에서 사용함
bf16
과 FSDP2
를 사용하고, 512²에서는 GPU당 32장, 1024²에서는 8장씩 4회 기울기를 누적함
학습 목표로 x-prediction과 v-loss 를 사용하며, 가중치는 t = 0.1
에서 제한함
중간 출력 손실 가중치는 1, PixelREPA는 0.1임
최종 헤드의 LPIPS 0.1과 P-DINO 0.01은 t ≤ 0.7
에서 적용함
2차원 블록 행렬에는 Muon , 나머지에는 AdamW 를 사용하며, Muon 업데이트의 RMS를 AdamW에 맞춤
512² 학습률은 100만 샘플 동안 최대 2e-4
로 올린 뒤 5억 5,000만 샘플까지 유지하고, 마지막 약 6,000만 샘플 동안 1 − √
감쇠로 2.5e-5
까지 내림
1024²에서는 50만 샘플 동안 2.5e-5
로 다시 올린 뒤 유지함
가중치 감쇠는 0.1이며 편향에는 적용하지 않음. 전역 기울기 노름은 1.0으로 제한하고, 분류기 없는 가이던스를 위해 캡션을 5% 확률로 제거함
GPU 비용은 H100 시간당 2.50달러 기준이며, 재시작 비용도 포함함
사전학습에 8,139 H100시간을 사용했으며, 비용은 20,348달러 임
후속학습에 276 H100시간을 사용했으며, 비용은 690달러 임
합계는 8,415 H100시간, 21,038달러 임
추가 아키텍처와 손실 세부 사항은 P-JiT 부록 에 있음
확산 모델 후속학습의 접근과 한계
후속학습에는 Finite Difference Flow Optimization(FDFO) 변형을 사용하며, JEV-Image 와 사람이 평가에 참여함
확산 모델의 근본적 능력을 높이는 후속학습 은 아직 초기 단계임
모델과 스케줄 증류는 많이 연구됐지만, 지난 18개월간 LLM 코딩 능력에서 나타난 수준의 후속학습 성과는 확산 모델에서 아직 충분히 실현되지 않음
DPO는 특정 미적 선택에 크게 과적합하는 경향이 있음
Flow-GRPO 는 검증 가능한 보상 기반 강화학습인 RLVR 방식의 틀을 확산 모델에 도입한 초기 작업 중 하나이며, 이후 Diffusion NFT 와 FDFO 등이 이어짐
Linum이 보기에 FDFO는 현재까지 확산 모델 후속학습을 가장 잘 정식화한 작업임
Linum은 자기회귀 LLM과 달리 신뢰할 만한 우도 추정치가 부족한 점 이 기법 적용을 어렵게 하는 원인이라고 봄
후속학습 전체 구성과 관련 문제는 향후 추가로 공개할 계획임
생성 가능 범위와 알려진 제약
텍스트가 렌더링된 이미지 를 학습하지 않아 글자를 쓰거나 포스터를 생성할 수 없음
인포그래픽, PDF, 책 페이지, PowerPoint 슬라이드 등은 애니메이션 도구라는 목표에 유용하지 않다고 판단해 데이터에서 완전히 제외함
필터링 기준은 데이터 필터링 기록 에 정리돼 있음
2B DiT와 4B 텍스트 인코더 로 구성된 작은 모델로, 전신 표현, 자동차 6대나 군중처럼 많은 개체, 여러 사람의 상호작용, 세계 지식에 어려움이 있음
이런 이미지도 간혹 정확하게 생성할 수 있음
Linum은 7B 같은 더 큰 모델과 추가 후속학습으로 문제가 완화될 가능성이 있다고 봄
댓글과 토론