Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Diffusion Language Model(DLM)의 생성을 재학습 없이 제어할 수 있는 DLM-SWAI 방법론을 제안합니다. 사전 계산된 토큰 수준의 스타일 점수를 활용하여 노이즈 제거 단계에서 토큰 분포를 편향시킴으로써 스타일과 안전성을 효과적으로 제어합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기언어 모델(Language Model)의 생성을 원하는 텍스트 속성으로 유도하는 것은 실질적인 배포를 위해 필수적이며, 추론 시간(Inference-time) 방법론은 재학습 없이 제어 가능한 생성을 가능하게 한다는 점에서 특히 매력적입니다. 최근 연구들은 Diffusion Language Model (DLM)을 독특한 디코딩(Decoding) 특성을 가진 신흥 생성 패러다임으로 강조해 왔습니다. 그러나 기존의 대부분의 제어(Steering) 접근 방식은 보조 모델(Auxiliary models)에 의존하거나 자기회귀적(Autoregressive) 다음 토큰 디코딩을 위해 설계되어, 부분적으로 마스킹된(Partially masked) 시퀀스의 반복적인 노이즈 제거(Denoising)를 통해 텍스트를 생성하는 Diffusion Language Model (DLM)에 적용하기 어렵습니다. 이에 따라, 우리는 사전 계산된 토큰 수준의 스타일 점수(Token-level style scores)를 사용하여 각 노이즈 제거 단계에서 토큰 분포에 편향을 주는 간단한 훈련 불필요(Training-free) 제어 방법인 DLM-SWAI를 제안합니다. 스타일 및 안전성 제어 태스크에 대한 실험 결과, DLM-SWAI는 생성 품질을 유지하면서도 최소한의 계산 오버헤드(Computational overhead)만으로 Diffusion Language Model을 효과적으로 제어함을 보여줍니다. 절제 연구(Ablations)를 통해 제어 강도(Steering strength)와 유창성(Fluency) 사이의 제어 가능한 트레이드오프(Trade-off)를 추가로 확인하였으며, 우리의 분석은 클래스별 제어 가능성(Class-wise steerability)을 토큰 수준의 속성 단서(Attribute cues)의 강도와 연결합니다.