확산 모델(Diffusion)이 최근 언어 모델링 커뮤니티로부터 상당한 관심을 끌고 있지만, 연속적 확산(Continuous Diffusion)은 이산적 접근 방식(Discrete approaches)보다 확장성(Scalability)이 떨어지는 것으로 보여 왔습니다. 이러한 믿음에 도전하기 위해, 우리는 가능도 기반(Likelihood-based) 연속적 확산 언어 모델(DLM)인 Plaid를 재검토하고, Plaid의 아키텍처를 현대적인 이산적 DLM과 정렬하여 RePlaid를 구축했습니다. 이 통합된 설정에서, 우리는 이산적 DLM과 경쟁할 수 있는 연속적 DLM을 위한 최초의 스케일링 법칙(Scaling law)을 확립했습니다. RePlaid는 자기회귀(Autoregressive) 모델과 비교했을 때 단 $20 imes$의 연산 격차(Compute gap)만을 보이며, 더 적은 파라미터를 사용하면서도 Duo를 능가하고, 과훈련(Over-trained) 영역에서는 MDLM보다 뛰어난 성능을 보입니다. 우리는 최근의 연속적 DLM들과 RePlaid를 벤치마킹했습니다. OpenWebText에서 RePlaid는 연속적 DLM들 중 $22.1$이라는 새로운 최첨단(SOTA) PPL 경계치를 달성했으며, 우수한 생성 품질을 보여주었습니다. 이러한 결과는 가능도(Likelihood)를 통해 훈련될 때, 연속적 확산이 이산적 DLM에 대해 매우 경쟁력 있고 확장 가능한 대안임을 시사합니다. 또한, 우리는 가능도 기반 훈련의 이점을 이해하기 위한 이론적 통찰을 제공합니다. 우리는 ELBO(Evidence Lower Bound)의 분산을 최소화하도록 노이즈 스케줄(Noise schedule)을 최적화하면 시간이 지남에 따라 자연스럽게 선형적인 교차 엔트로피(Cross-entropy, 정보 손실)가 발생함을 보여줍니다. 이는 특정 사례에 따른 시간 재매개변수화(Time reparameterization) 없이도 디노이징(Denoising) 난이도를 균등하게 분산시킵니다. 아울러, 가능도를 통해 임베딩(Embeddings)을 최적화하면 구조화된 기하학적 구조(Structured geometries)가 생성되며 가장 유의미한 가능도 이득을 이끌어낸다는 것을 발견했습니다.