여러분, Diffusion LLM 훈련을 이렇게나 아낄 수 있었다고요?

모두가 Diffusion Language Model (DLM)이 매우 매력적이라는 것을 알고 있습니다. 양방향 생성 (Bidirectional Generation), 비순차적 디코딩 (Non-sequential Decoding), 유연한 편집 (Flexible Editing)을 지원하기 때문입니다.

하지만 처음부터 훈련하는 비용은 터무니없이 높습니다.

Duke 대학의 PhD Fred Peng (@pengzhangzhi1)와 팀은 직관에 반하는 해답을 직접 제시했습니다:
"다시 훈련하지 말고, 바로 정렬(Align)하세요."

논문 제목은 《Don’t Retrain, Align》입니다.

핵심 아이디어는 매우 간단합니다:

우리는 이미 강력한 사전 훈련된 Autoregressive LM (AR LM)을 가지고 있으며, 그 안에는 이미 대부분의 언어 표현 (Language Representation)이 학습되어 있습니다.

DLM이 진정으로 바꿔야 할 것은 생성 순서와 노이즈 제거 (Denoising) 동작뿐입니다.

그래서 그들은 REPR-ALIGN을 제안했습니다: Masked Diffusion 훈련을 수행하는 동시에, 코사인 유사도 (Cosine Similarity)를 사용하여 DLM의 은닉 상태 (Hidden States)를 동결된 (Frozen) AR teacher 모델에 층별로 정렬합니다.
Adapter를 추가할 필요도 없고, 아키텍처를 변경할 필요도 없으며, 오직 Attention Mask만 변경하면 됩니다.

결과:
그들의 실험 설정에서 훈련 속도가 최대 4배 향상되었으며, 데이터가 적은 시나리오에서 효과가 특히 두드러졌습니다.

한 줄 요약:
표현 공간 (Representation Space)을 처음부터 다시 훈련하지 말고, 그것을 정렬하여 모델이 디코딩 경로 (Decoding Path)를 다시 학습하는 데에만 집중하게 하세요.

Paper:
https://t.co/djnfVWYRco
Code:
https://t.co/SKYEBToFFW

만약 여러분이 Diffusion Model, 생성형 AI (Generative AI) 또는 긴 컨텍스트 생성 (Long Context Generation)을 다루고 있다면, 이 논문은 즉시 읽어볼 가치가 있습니다.