Guidance는 하이퍼파라미터가 아니다: 확산 언어 모델에서 동적 제어를 학습하기

요약

본 논문은 확산 언어 모델(Diffusion Language Models)에서 사용되는 Classifier-Free Guidance (CFG) 스케일이 고정된 하이퍼파라미터라는 기존 접근 방식의 한계를 지적합니다. 저자들은 CFG 스케일 선택을 순차적인 의사 결정 문제로 재구성하고, 강화학습(RL)과 PPO 알고리즘을 사용하여 생성 과정 전체에 걸쳐 동적으로 변화하는 최적의 가이던스 궤적을 학습할 것을 제안했습니다. 실험 결과는 이러한 적응형(adaptive) 가이던스가 고정 스케일 전략보다 NLP 생성 작업에서 제어 가능성과 품질 사이의 우수한 균형을 제공함을 입증합니다.

핵심 포인트

• 기존 CFG 방식은 가이던스 스케일을 정적인 하이퍼파라미터로 취급하여 최적화에 한계가 있다.
• CFG 스케일 선택을 순차적 의사 결정 문제로 재구성하고, 강화학습(RL) 프레임워크를 적용했다.
• PPO 알고리즘을 사용하여 확산 상태 변화에 기반한 동적인 가이던스 정책을 학습시켰다.
• 제안된 적응형 가이던스는 고정 스케일 대비 NLP 생성 작업에서 제어 가능성과 품질의 균형을 개선한다.