딥러닝 (Deep Learning)에서 파라미터 (Parameter) 수를 늘리고 학습 데이터를 확장하는 것은 모델의 능력을 향상시키기 위한 주요 전략으로 오랫동안 사용되어 왔습니다. 하지만 생성 모델링 (Generative Modeling)은 복잡하고 다중 모드인 데이터 분포 (Multimodal Data Distributions)를 포착할 때 여전히 근본적인 장애물에 직면해 있습니다. 즉, 추론 (Inference) 과정에서 수백 번의 느리고 순차적인 샘플링 (Sampling) 단계에 의존하지 않고 어떻게 깨끗하고 흐릿하지 않은 출력을 생성할 것인가 하는 문제입니다.

Alexi Gladstone, Heng Ji, 그리고 Yilun Du가 작성한 2026년 7월 논문 Explorative Modeling: Unlocking a Third Pretraining Axis and End-to-End Generation은 이 문제에 대한 새로운 접근 방식을 제시합니다. 탐색적 모델링 (Explorative Modeling, XM)은 추론 중에 생성 과정을 다단계 체인으로 분해하는 대신, 그 분해 과정을 훈련 루프 (Training Loop) 자체로 이동시킵니다. 각 훈련 단계 동안 $K$개의 후보 출력을 탐색하고 타겟 데이터 (Target Data)와의 최적의 일치만을 위해 최적화함으로써, XM은 모델이 흐릿함 없이 단일하고 일관된 모드 (Modes)에 전념할 수 있도록 합니다. 이 기술은 파라미터 크기 및 데이터셋 규모와 함께 세 번째 사전 학습 축 (Pretraining Axis)으로서 "생성 표현력 (Generative Expressivity)"—즉, 뚜렷한 모드를 포착하는 능력—을 도입합니다.

핵심 불일치: 생성의 인수분해 vs 훈련의 인수분해

모드 흐림 (Mode Blurring) 문제

탐색적 모델링 (Explorative Modeling)이 왜 필요한지 이해하려면 표준적인 재구성 훈련 (Reconstructive Training)을 고려해 보십시오. 예측 불가능한 궤적의 다음 시각적 프레임을 예측하거나 광범위한 텍스트 설명으로부터 이미지를 생성하는 경우와 같이, 단일 입력 또는 프롬프트 (Prompt)가 여러 개의 유효한 타겟에 대응할 때, 전통적인 손실 함수 (Loss Functions)로 훈련된 단일 직접 회귀 모델 (Direct Regression Model)은 모든 가능한 타겟의 수학적 평균을 출력하는 경향이 있습니다. 이미지 생성 또는 연속 제어 (Continuous Control)에서 이러한 평균화는 "모드 흐림 (Mode Blurring)"으로 나타나, 비현실적이고 흐릿한 예측을 생성합니다.

노출 편향 (Exposure Bias) 및 다단계 생성 (Multi-step Generation)

모드 흐릿함 (mode blurring)을 방지하기 위해, 확산 모델 (diffusion models) 및 시각적 자기회귀 트랜스포머 (visual autoregressive transformers)와 같은 기존의 생성 프레임워크 (generative frameworks)는 생성 절차를 인수분해 (factorize)합니다. 이들은 복잡한 생성 작업을 수십 또는 수백 개의 작고 점진적이며, 거의 단일 모드에 가까운 (nearly unimodal) 단계로 분해합니다.

이러한 인수분해는 모드 평균화 (mode averaging)를 방지하지만, 노출 편향 (exposure bias)이라고 알려진 상당한 훈련-추론 불일치 (train-inference mismatch)를 유발합니다. 교사 강요 (teacher forcing) 방식의 훈련 과정 동안 모델은 실제 정답 (ground-truth) 컨텍스트를 관찰합니다. 그러나 추론 (inference) 과정에서 모델은 자신의 과거 예측에 의존해야 합니다. 생성 지평 (generation horizon) 초기 단계의 작은 오류들은 시간이 지남에 따라 누적되어, 분포 드리프트 (distributional drift)와 인식론적 미식별 (epistemic underidentification)을 초래합니다. 즉, 모델이 명확한 역사적 컨텍스트가 결여된 스스로 생성한 상태에 직면하게 되는 것입니다. 또한, 다단계 추론 체인 (multi-step inference chains)을 실행하는 것은 상당한 계산 오버헤드 (computational overhead)를 발생시킵니다.

탐색적 모델링 (Explorative Modeling)의 작동 방식

Best-of-K 훈련 메커니즘

탐색적 모델링 (Explorative Modeling)은 생성 프로세스를 온전하게 유지하여 엔드투엔드 (end-to-end) 생성을 가능하게 하는 대신, 훈련 루프 (training loop)를 인수분해함으로써 이 병목 현상을 해결합니다.

입력당 단일 출력을 생성하고 정답 (ground-truth)에 대해 손실 (loss)을 계산하는 대신, 훈련 절차는 다음의 네 가지 핵심 단계를 통해 작동합니다:

1. 후보 생성 (Candidate Generation): 주어진 훈련 입력에 대해 모델은 $K$개의 후보 출력을 생성합니다.
2. 매칭 평가 (Matching Evaluation): 각 후보는 손실 지표 (loss metric)를 사용하여 정답 (ground-truth) 타겟 데이터와 비교 평가됩니다.
3. 선택적 역전파 (Selective Backpropagation): 시스템은 정답 (ground-truth) 타겟과 가장 잘 일치하는 단일 후보 출력을 식별합니다.
4. 그래디언트 업데이트 (Gradient Update): 그래디언트 (gradients)는 오직 해당 최적 매칭 후보를 통해서만 역전파되며, 승리한 브랜치 (winning branch)에 대해서만 네트워크 가중치를 업데이트합니다.

가장 가까운 후보 매치만을 최적화함으로써, 모델은 일관되지 않은 타겟들의 평균에 맞추도록 강요받지 않습니다. 대신, 예측은 특정하고 뚜렷한 데이터 모드 (data modes)에 전념하게 됩니다.

개념적 워크플로우 (Conceptual Workflow)

핵심 메커니즘은 Python 스타일의 의사 코드 (pseudo-code)로 개념화할 수 있습니다:

def explorative_training_step(model, x_input, y_target, K):
    # 1. 모델로부터 K개의 후보 출력 (candidate outputs) 생성
    candidates = [model(x_input) for _ in range(K)]
...

추론 (inference) 단계에서, 모델은 훈련 과정 동안 입력을 일관된 모드 (modes)로 직접 매핑하는 법을 학습했기 때문에, 다단계 샘플링 체인 (multi-step sampling chains)을 제거하고 단일 단계 또는 현저히 적은 단계만으로 생성이 이루어질 수 있습니다.

세 번째 사전 훈련 축으로서의 생성적 표현력 (Generative Expressivity)

양상 (Modalities) 간의 시너지 스케일링 (Synergistic Scaling)

Gladstone et al.이 제시한 연구는 탐색 ($K$)이 모델 파라미터 (parameters) 및 데이터 양과 함께 근본적인 세 번째 사전 훈련 축 (pretraining axis)으로 작용함을 보여줍니다. 저자들은 탐색의 양을 스케일링하는 것이 언어, 비디오, 이미지 생성을 포함한 이산적 (discrete) 및 연속적 (continuous) 도메인 전반에서 모델 성능을 단조적으로 향상시킨다고 보고했습니다.

중요한 점은, 탐색 규모의 이점이 표준 사전 훈련 축들과 시너지 효과를 낸다는 것입니다:

• 데이터 규모 (Data Scale): 데이터셋 크기가 증가함에 따라, 탐색을 통한 성능 이득은 7%에서 36%로 증가합니다.
• 모델 규모 (Model Scale): 파라미터 수가 증가함에 따라, 탐색을 통한 성능 이득은 13%에서 23%로 증가합니다.

실증적 벤치마크 (Empirical Benchmarks) 및 효율성

연구팀은 탐색적 모델 (Explorative Models)을 기존의 생성적 베이스라인 (generative baselines)과 비교했을 때 상당한 효율성 개선을 보고했습니다:

• 샘플 효율성 (Sample Efficiency): 전통적인 훈련 대비 6.2배 향상.
• FLOP 효율성 (FLOP Efficiency): 총 부동 소수점 연산 (floating-point operations) 측면에서 4.1배 향상.
• 파라미터 효율성 (Parameter Efficiency): 47% 향상.

arXiv 논문 저장소에 기록된 시각적 생성 (Visual Generation) 작업에서, Representation Autoencoders (RAE)와 같은 최첨단 레시피에 탐색 (Exploration)을 통합한 결과, Classifier-free guidance 없이도 256x256 ImageNet에서 1.43 Fréchet Inception Distance (FID)를 달성했으며, 표준 Scalable Interpolant Transformers (SiT) 베이스라인보다 약 300배 빠르게 수렴했습니다.

로보틱스 및 제어 작업(행동 복제 (Behavior Cloning) 및 목표 조건부 월드 모델링 (Goal-conditioned World Modeling) 포함)에서, 엔드 투 엔드 (End-to-end) 탐색 모델 (Explorative Models)은 Diffusion Policy 및 Diffuser와 같은 확산 기반 (Diffusion-based) 프레임워크의 작업 성능과 대등한 수준을 보이면서도, 추론 단계 (Inference steps)는 16배에서 256배 더 적게 요구되었습니다.

한계점 및 미결 과제 (Limitations and Open Questions)

결과가 강력한 이점을 보여주지만, 실무자들에게는 몇 가지 핵심적인 가정과 한계점이 여전히 중요합니다:

• 후보군 커버리지 가정 (Candidate Coverage Assumption): Best-of-$K$ 훈련의 성공 여부는 생성된 $K$개의 샘플 중 적어도 하나가 타겟 모드 (Target mode)에 상당히 가깝게 위치할 가능성에 달려 있습니다. 만약 분포가 극도로 복잡한데 $K$값이 너무 작다면, 후보군이 실제 정답 타겟 (Ground-truth target)을 커버하지 못할 수 있습니다.
• 훈련 시간 계산 비용 (Training-Time Compute Cost): 단계별로 $K$개의 후보 출력을 생성하는 것은 훈련 중 계산 요구 사항을 증가시킵니다. 빠른 수렴 덕분에 전체적인 FLOP 효율성은 향상되지만, 훈련 중 단계별 오버헤드는 단일 후보 순전파 (Single-candidate forward pass)보다 높습니다.
• 랭킹 의존성 (Ranking Dependency): 모드 확정 (Mode commitment)의 품질은 단계 선택 과정에서 후보를 평가하는 데 사용되는 매칭 손실 (Matching loss) 메트릭의 정확도에 크게 의존합니다.

ML 실무자를 위한 실질적 시사점 (Practical Takeaways for ML Practitioners)

생성 아키텍처를 연구하는 엔지니어링 팀에게 탐색적 모델링 (Explorative Modeling)은 설득력 있는 관점의 전환을 제공합니다:

1. 훈련 (Training) vs. 추론 (Inference) 복잡성 재고: 만약 실시간 로보틱스(real-time robotics)나 대화형 이미지 생성(interactive image generation)과 같이 배포 환경이 높은 추론 지연 시간(inference latency)에 의해 제약을 받는다면, 복잡성을 훈련 단계의 탐색(training-time exploration)으로 전환함으로써 필요한 추론 단계(inference steps)를 획기적으로 줄일 수 있습니다.
2. 목적 함수 수준에서의 모드 흐림 (Mode Blurring) 해결: 직접적인 회귀 (regression)가 흐릿하거나 평균화된 출력을 생성할 때, 후보 매치 (candidate matches)를 탐색하도록 훈련 루프 (training loop)를 수정하면 단일 단계 모델 (single-step models)이 선명하고 뚜렷한 모드 (modes)를 확정할 수 있게 합니다.
3. 확장 레버로서의 탐색 활용: 단순히 모델 파라미터 (parameters)를 추가하거나 더 많은 데이터를 수집하는 것을 넘어, 후보 탐색 ($K$)을 통해 생성적 표현력 (generative expressivity)을 높이는 것은 모델 품질을 높이기 위한 실질적인 세 번째 조절 장치 (knob)가 됩니다.

더 자세한 기술적 세부 사항은 arXiv:2607.27372의 원문 논문을 확인하거나, 컴퓨터 과학 연구 (computer science research)의 광범위한 트렌드를 팔로우하세요.