Website: https://explorative-modeling.github.io/ GitHub: https://github.com/alexiglad/XM

요약 (TLDR): 우리는 기존 생성 모델 (generative models)에 추가되었을 때 세 번째 사전 학습 축 (pretraining axis) 역할을 수행하며, 엔드 투 엔드 생성 (end-to-end generation)을 가능하게 하는 생성 모델링의 새로운 패러다임인 탐색적 모델링 (Explorative Modeling)을 소개합니다. 탐색 (exploration)을 증가시키는 것은 이미지, 비디오, 언어 전반에 걸쳐 기존 모델들을 단조롭게 개선하며, 그 이득은 규모 (scale)에 따라 증가합니다 (데이터의 경우 7%→36%, 파라미터의 경우 13%→23%). 구체적으로, 탐색적 모델 (Explorative Models, XMs)은 6.2배의 샘플 효율성 (sample efficiency), 4.1배의 FLOP 효율성, 그리고 47% 더 나은 파라미터 효율성 (parameter efficiency)을 달성합니다. 또한 탐색은 스케일링 일반화 (scaling generalization)와 기존 모델들의 엔드 투 엔드 스케일링 방식을 가능하게 합니다. 엔드 투 엔드 생성 모델로서, XMs는 최대 256배 적은 추론 연산 (inference compute)으로 제어 작업 (control tasks)에서 확산 모델 (diffusion)과 대등한 성능을 보여줍니다.

단순해 보이는 질문 하나로 시작하겠습니다. 만약 제가 모델에게 “개 한 마리를 생성해줘”라고 요청한다면, 정답은 몇 개나 될까요?

알고 보니 아주 많습니다... 우리가 개 이미지라고 셀 수 있는 이미지는 아마 수십억 개 이상일 것입니다.

그렇다면 신경망 (neural network)이 개 이미지를 직접 예측하도록 학습시킨다면 어떤 일이 벌어질까요? 모델은 학습 과정에서 수천 마리의 서로 다른 유효한 개들을 보게 되며, 그 모든 개들에게 가장 가까운 단일 예측값은 그들의 평균입니다. 그것이 모델이 출력하도록 학습하는 것이며, 수천 마리 개의 평균은 개와 전혀 닮지 않은 갈색 흐릿함 (brown blur)일 뿐입니다.

이를 구체화하기 위해 게임을 하나 해봅시다. 제가 아래 과녁에 다트를 던질 것이고, 각 다트는 고리 위의 무작위 지점에 떨어질 것입니다. 여러분의 임무는 제 다음 다트가 어디에 떨어질지 맞히는 것이며, 예측이 빗나갈수록 점수는 낮아집니다.

그렇다면 어디라고 추측해야 할까요? 오차를 최소화하는 추측은 과녁의 정확한 중앙이라는 사실이 밝혀졌습니다.1 우리는 이 게임을 수행하도록 모델을 학습시켰고, 아니나 다를까 모델은 매번 중앙을 추측합니다 (이것이 여기서의 최적의 (optimal) 예측입니다!).

하지만 이것은 끔찍합니다... 중앙은 다트가 실제로 떨어지는 지점이 거의 아니기 때문입니다. "최적의" 추측은 다트가 단 한 번도 떨어지지 않는 지점입니다.

이것이 생성 모델링 (generative modeling)의 핵심 문제입니다. 하나의 예측에 대해 유효한 정답이 여러 개일 때, 가장 좋은 단일 예측은 그들의 *평균 (average)*이 되며, 데이터의 평균은 일반적으로 실제 데이터와 전혀 닮지 않은 나쁜 정답이 됩니다.2

그리고 이 문제는 다트판이나 개에게만 국한된 특별한 문제가 아니라, 어떤 종류의 데이터에서도 나타납니다. 우리가 2D 점 세 더미를 직접 생성하도록 모델을 학습시켰을 때, 모델은 그 점들의 중앙에 있는 단 하나의 점을 예측했고, 텍스트를 학습시켰을 때는 오직 "the"라고만 말할 수 있었습니다.

하지만 잠깐만요. ChatGPT는 일관성 있는 텍스트를 작성하고, 이미지 모델은 정말 놀라운 이미지를 생성합니다. 분명 이 문제는 어떻게든 해결된 것 아닌가요?

그렇습니다. 그리고 오늘날 모든 확장 가능한 생성 모델은 동일한 방식으로 이 문제를 해결합니다. 바로 학습 과정에서 생성을 여러 개의 작은 단계로 나눔으로써, 각 단계가 대략 하나의 정답만을 갖도록 만드는 것입니다. 단계마다 하나의 정답만 있다면 평균을 낼 것이 없으므로, 흐릿함 (blur)이 사라집니다.

이것이 어떻게 작동하는지 살펴보겠습니다. 자기회귀 모델 (Autoregressive models, LLM 등)은 한 번에 하나씩 예측하는데, 우리 게임에 대입하면 다트의 정확한 위치를 한꺼번에 추측하지 않는 것을 의미합니다. 대신, 먼저 다트가 왼쪽이나 오른쪽으로 얼마나 멀리 떨어질지만 추측한 다음, 그 정보를 바탕으로 위나 아래로 얼마나 떨어질지를 추측합니다. 다트가 맨 오른쪽에 떨어졌다는 것을 알게 되면, 다트가 있을 수 있는 위치는 몇 군데로 좁혀집니다.

확산 모델 (Diffusion models)은 이를 다르게 수행합니다. 이들은 순수한 무작위 노이즈 (random noise)에서 시작하여 데이터를 향해 수백 개의 아주 작은 단계들을 밟아 나갑니다. 초기에는 추측이 어떤 다트가 될 수도 있지만, 매 단계마다 가능성이 좁혀지기 때문에 단일 단계가 동시에 여러 개의 유효한 정답에 직면하는 일은 결코 발생하지 않습니다.

결과적으로 이것이 바로 모든 현대적인 생성 모델이 작동하는 기본 방식이며, 생성 과정을 잘 예측할 수 있는 더 작은 조각들로 나누는 것입니다. 여기에는 LLM, 이미지 및 비디오 모델, 그리고 MeanFlow나 일관성 모델 (consistency models)과 같은 최신 소수 단계 (few-step) 모델들이 포함됩니다. 우리는 생성을 조각으로 나누는 이 아이디어를 *생성 분해 (factoring generation)*라고 부릅니다.

이러한 생성 분해 (factoring generation) 방식은 효과적이긴 하지만, 몇 가지 이유로 인해 치명적인 단점도 가지고 있습니다. 첫 번째는 모델들이 단일 단계 (single step)에 대해서만 학습되지만, 추론 (inference) 시에는 수백 또는 수천 단계를 실행한다는 점입니다. 이로 인해 모델의 불완전한 출력값이 다시 입력값으로 피드백되어 오류가 누적되고, 생성 결과가 모델이 학습 과정에서 보았던 데이터로부터 서서히 벗어나게 됩니다. 이 문제를 노출 편향 (exposure bias)이라고 부릅니다 (이것이 왜 치명적인지에 대해 별도의 블로그 글을 작성한 적이 있습니다). 비디오 모델이 10초 후에 형체를 알아볼 수 없게 뭉개지거나, LLM이 매우 긴 생성 과정에서 일관성을 잃는 이유가 바로 이것이며, 이는 성능과 일반화 (generalization) 능력을 직접적으로 저해합니다.

두 번째 치명적인 단점은 첫 번째 문제에 기반합니다. 학습과 추론 사이의 이러한 불일치는 모델이 결코 엔드-투-엔드 (end-to-end) 방식이 될 수 없음을 의미하기 때문입니다. 엔드-투-엔드 모델이란 추론 시에 학습된 방식 그대로 실행되는 모델을 말합니다. 엔드-투-엔드 학습은 AlexNet과 함께 딥러닝 혁명을 일으킨 핵심이었으며, 그 교훈은 그 이후로도 계속 유지되어 왔습니다. 즉, 모델이 데이터로부터 모든 것을 직접 학습하게 하는 것이 파이프라인의 일부를 수동으로 설계하는 것보다 뛰어나며, 학습된 방식 그대로 실행되는 모델은 분포 외 (out-of-distribution) 영역으로 강제 진입하지 않는다는 점입니다. 현재 생성 모델링 (generative modeling)을 제외한 거의 모든 딥러닝은 엔드-투-엔드 방식으로 전환되었으며, 생성 분해 방식이 바로 이를 가로막고 있는 장벽입니다.

따라서 이상적으로는 생성 분해를 중단해야 하지만, 분해 방식은 '다중 정답 문제 (many-answers problem)'를 다룰 수 있는 우리가 아는 유일한 기법이기도 합니다. 그렇다면 자연스럽게 생성이 아닌 다른 것을 분해할 수는 없을까라는 의문이 생깁니다. 확인 결과, 생성 모델에는 생성하는 방식과 학습하는 방식이라는 두 가지 프로세스만 존재합니다. 만약 생성을 포기해야 한다면, 남은 것은 학습 루프 (training loop)뿐입니다.

그렇다면 이러한 학습 방식 (factoring training)은 어떤 모습일까요? 이에 답하기 위해, 다시 우리의 게임으로 돌아가 보겠습니다. 다만 이번에는 한 번이 아니라 스무 번의 추측 기회를 드릴 것이며, 가장 근접한 추측만이 인정됩니다. 결과적으로 스무 번의 기회가 주어지면, 중간을 맞추는 것은 형편없는 전략이 됩니다. 왜냐하면 이제는 다트가 실제로 떨어지는 지점들에 추측을 분산시킬 수 있어, 중간을 맞추려 할 때보다 오차 (error)를 훨씬 더 낮출 수 있기 때문입니다. 다시 말해, 승리 전략은 추측을 사용하여 다양한 정답을 탐색 (explore) 하는 것입니다.

그리고 이것이 바로 실제로 일어나는 일입니다. 이 방식으로 스무 번의 추측을 통해 모델을 학습시키면 (아래 중간 패널), 모델의 추측이 보드 전체에 퍼지게 됩니다!

방금 여기서 어떤 일이 일어났는지 잠시 음미해 보십시오. 다트는 이전과 정확히 같은 위치에 떨어지지만, 추측이 점수화되는 방식을 바꿨기 때문에, 가능한 최선의 예측값이 보드의 중앙에서 다트가 실제로 떨어지는 지점들로 이동했습니다. 이는 중요한 사실을 드러내는데, 바로 학습 목표 (training objective) 단독으로 최선의 예측값 (손실 최소화 지점, loss minimizer)이 무엇인지를 결정한다는 것입니다. 학습 목표를 변경함으로써, 우리는 손실 최소화 지점을 데이터의 평균값에서 데이터 그 자체로 이동시켰습니다.

이것이 바로 탐색적 모델링 (Explorative Modeling) 입니다. 각 학습 단계 (training step)에서 모델은 자신이 생성한 것과 실제 데이터 사이의 K가지 가능한 일치 항목을 탐색하며, 그중 가장 잘 맞는 항목만이 학습됩니다. 우리는 이런 방식으로 학습된 모델을 탐색적 모델 (Explorative Models, XMs) 이라고 부릅니다. 가장 단순한 경우, 이것은 말 그대로, 그리고 아름답게도 하나의 for 루프입니다:

losses = []
for i in range(K):
    generation = model.generate() # 예: 서로 다른 무작위 노이즈로부터
...

실제 데이터에서 탐색 횟수 K를 늘릴 때 발생하는 현상은 다음과 같습니다:

더 많은 탐색은 평균을 실제 결과물로 바꿉니다. 하나의 점이 세 개의 더미가 되고, 흐릿한 형체가 실제 이미지로 변하며, "the the the"와 같은 반복이 실제 텍스트가 됩니다.

시야를 넓혀보면, 이 그림은 실제로 훨씬 더 큰 무언가를 암시하고 있습니다. 현대의 모든 생성 모델링 (generative modeling)은 사실 손실 최소화 함수 (loss minimizer)가 데이터 사이의 값이 아닌 실제 데이터에 안착하도록 하는 학습 목적 함수 (training objective)를 설계하는 것에 관한 것이며, 생성 (generation)과 탐색 (exploration)을 분리하는 것은 이를 달성하기 위한 두 가지 서로 다른 방법일 뿐입니다. 우리는 이 아이디어를 *모드 포싱 (Mode Forcing)*이라고 부르며, 이는 우리가 실험을 수행하기 전 논문의 거의 모든 결과를 예측할 수 있게 해준, 탐색적 모델링 (Explorative Modeling)으로 이끈 이론적 토대입니다. 모드 포싱에 관한 별도의 논문이 곧 나올 예정입니다 :)

주의 깊게 살펴볼 또 다른 점은 XM의 모든 추가 작업이 학습 (training) 중에 발생한다는 것입니다. 엔드 투 엔드 (end-to-end) XM의 경우, 생성 자체는 완전히 건드리지 않은 채 유지되어 학습과 추론 (inference) 시에 동일하게 작동하는 단일 단계로 남습니다.

그렇다면 왜 더 많은 탐색이 계속해서 도움이 되는 걸까요? 알고 보니 K는 모델이 얼마나 많은 서로 다른 정답에 전념할 수 있는지를 제어합니다. 한 번의 추측만으로는 모델이 모든 것을 평균 내야 하지만, 스무 번의 추측이 있다면 모델은 데이터의 서로 다른 부분에 각각 특화된 스무 개의 서로 다른 정답에 전념할 수 있습니다. 논문에서 우리는 이를 모델이 포착할 수 있는 서로 다른 정답의 수인 **생성적 표현력 (generative expressivity)**이라고 부릅니다.

놀라운 점은 생성적 표현력 (generative expressivity)이 거의 완전히 간과되어 왔다는 사실입니다. 이 용어는 본 연구와 Mode Forcing 논문이 나오기 전까지 존재조차 하지 않았을 정도입니다. 하지만 이는 파라미터 (parameters)나 데이터 (data)만큼이나 중요합니다. 단 하나의 파라미터를 가진 모델은 아무리 많은 데이터를 주입해도 많은 것을 할 수 없듯이, 생성적 표현력이 1인 모델은 아무리 많은 파라미터와 데이터를 제공하더라도 많은 것을 할 수 없습니다. 그 모델이 낼 수 있는 최선의 출력은 여전히 흐릿한 결과물일 뿐입니다 (그림 8의 K=1 열을 참조하십시오). 지난 10년 동안 우리는 모델이 무엇을 *표현(represent)*할 수 있는지를 결정하는 파라미터와, 모델이 무엇을 *학습(learn)*할 수 있는지를 결정하는 데이터를 확장해 왔습니다. 반면 모델이 무엇을 *생성(generate)*할 수 있는지를 결정하는 생성적 표현력은 훈련 목적 함수 (training objective)에 고정된 채 그대로 머물러 있었습니다. 생성 (generation)을 요인 분해 (factoring)하는 것이 이 문제에 대한 해당 분야의 해결책이었으나, 그로 인해 공급되는 표현력은 모델을 설계하는 순간 동결됩니다. 반면 탐색 (exploration)은 이를 실제로 확장 가능한 무언가로 변화시킵니다. 이것이 바로 탐색을 통해 생성적 표현력을 확장하는 것이 세 번째 사전 학습 축 (pretraining axis)인 이유이며, 아래에서 살펴보겠지만 실증적 결과가 이를 뒷받침합니다.

이제 우리는 탐색적 모델링 (Explorative Modeling)이 무엇인지 알게 되었습니다. 그렇다면 이를 실제로 어떻게 사용할 수 있을까요? 그림 9를 다시 살펴보면 두 가지 방법이 있습니다. 탐색을 기존의 생성 모델과 결합하거나, 혹은 독립적인 접근 방식 (standalone approach)으로 사용하는 것입니다. 탐색을 기존 모델과 결합하는 방식이 새로운 사전 학습 축이 탄생하는 지점이며, XMs를 독립적인 접근 방식으로 사용하는 것이 엔드 투 엔드 생성 (end-to-end generation)을 가능하게 합니다.

기존의 생성 모델 (generative models)부터 시작하겠습니다. 언뜻 보기에는 생성 과정을 인수분해 (factoring)하는 것만으로도 다중 정답 문제 (many-answers problem)를 처리할 수 있기 때문에, 더 이상의 생성 표현력 (generative expressivity)이 필요하지 않은 것처럼 보일 수 있습니다. 하지만 자세히 살펴보면, 확산 (diffusion) 또는 자기회귀 (autoregression) 과정 내부의 단일 단계들은 여전히 동시에 존재하는 여러 유효한 정답들에 직면할 수 있으며, 이는 여전히 어느 정도의 흐릿함 (blurring)이 남아 있음을 의미합니다.4 설상가상으로, 모델과 데이터셋이 성장함에 따라 파라미터 (parameters)와 데이터는 더 이상 병목 현상 (bottleneck)이 되지 않는 반면, 생성 표현력은 고정된 상태로 유지되므로, 표현력이 모델의 발목을 잡는 요인이 될 것이라고 예상할 수 있습니다. 만약 이 모든 것이 사실이라면, 기존 모델에 탐색 (exploration)을 추가하는 것은 모델을 개선할 것이며, 그 이득은 규모 (scale)가 커짐에 따라 함께 증가할 것입니다.

이를 테스트하기 위해, 우리는 기존 생성 모델의 레시피 (recipes)에서 하이퍼파라미터 (hyperparameters)를 포함한 그 어떤 것도 변경하지 않은 채, 그 위에 탐색을 추가했습니다.

우리는 최첨단 (state-of-the-art) ImageNet 생성 레시피인 RAE로 시작했습니다. 탐색을 추가함으로써 RAE의 최종 성능에 도달하는 데 6.2배 적은 데이터와 4.1배 적은 FLOPs를 사용했으며, 가이드 (guidance) 없이도 ImageNet 256에서 최첨단 수준인 1.43 FID를 달성했습니다. 속도 향상은 레시피 전반에 걸쳐 복리로 작용하는데, XRAE는 RAE보다 6.2배 빠르게 수렴하고, RAE 자체는 표준 SiT 레시피보다 47배 빠르게 수렴하므로, 결과적으로 XRAE는 SiT보다 거의 300배 빠르게 수렴합니다.

동일한 결과가 연산량 (compute)의 3분의 1로 학습된 최적으로 튜닝된 SiT 베이스라인 (baseline)에서도 나타났습니다. 여기서 탐색은 FLOP 효율성을 최대 52%까지 향상시키며, 2.5배 적은 데이터로 동일한 성능에 도달합니다.