연속적 확산 모델(Continuous Diffusion)이 언어 모델링에서 이산적 확산 모델(Discrete Diffusion)과 경쟁할 수

요약

연속적 확산 모델(Continuous Diffusion)이 이산적 접근 방식에 비해 확장성이 낮다는 기존의 통념을 깨고, RePlaid를 통해 이산적 DLM과 경쟁 가능한 수준의 성능을 입증했습니다. RePlaid는 자기회귀 모델과의 연산 격차를 20배로 줄였으며, OpenWebText 벤치마크에서 연속적 DLM 중 최첨단(SOTA) PPL을 달성했습니다. 또한 노이즈 스케줄 최적화를 통해 디노이징 난이도를 균등하게 분산시키는 이론적 통찰을 제시합니다.

핵심 포인트

• RePlaid는 이산적 DLM과 경쟁할 수 있는 최초의 연속적 확산 언어 모델 스케일링 법칙을 확립함
• 자기회귀(Autoregressive) 모델 대비 연산 격차를 20배 수준으로 단축
• OpenWebText 데이터셋에서 연속적 DLM 중 최첨단(SOTA) PPL인 22.1 달성
• ELBO 분산 최소화를 위한 노이즈 스케줄 최적화로 디노이징 난이도 균등화 가능
• 가능도 기반 임베딩 최적화가 구조화된 기하학적 구조를 생성함을 발견