Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 연구는 최소한의 오버헤드로 연속 확산 언어 모델(DLMs)을 개선하는 계층적 연속 확산 언어 모델(H-CDLMs) 프레임워크를 제안합니다. 이 모델은 여러 의미적 세분성 모달리티를 병렬로 확산하며, CoBit에 적용된 H-CoBit는 기존 벤치마크에서 높은 성능 향상을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기확산 언어 모델(Diffusion Language Models, DLMs)은 순서에 구애받지 않는 병렬 텍스트 생성의 가능성을 지니고 있습니다. 최근에는 세심하게 설계된 토큰 표현과 확산/흐름 공간 덕분에 연속 확산 및 흐름 일치(flow matching) 모델이 상당한 발전을 이루었습니다. 본 연구에서는 최소한의 계산량과 파라미터 오버헤드로 연속 DLMs를 더욱 개선하는 간단한 프레임워크인 계층적 연속 확산 언어 모델(Hierarchical Continuous Diffusion Language Models, H-CDLMs)을 소개합니다. 이산 DLM 및 공동 확산에 관한 연속 이미지 확산 문헌에서 영감을 받아, 우리는 여러 모달리티를 병렬로 확산합니다. 이러한 모달리티는 서로 다른 의미적 세분성(semantic granularities)의 토큰을 나타냅니다: 우리의 구현에서는 토큰 자체와 사전 학습된 토큰 임베딩을 클러스터링하여 얻은 더 거친 클러스터를 사용합니다. 우리는 각 모달리티별 샘플러 및 스케줄이 모달리티 간의 상호작용을 향상시킬 수 있도록 하는 일반적인 설정을 제안합니다. CoBit에 적용된 H-CoBit는 벤치마크 전반에서 큰 경험적 이득을 제공합니다. 데이터셋 엔트로피(dataset entropy) 기준으로, H-CoBit은 MAUVE를 개선하여 LM1B에서 생성 퍼플렉서티(generative perplexity, GenPPL) 49.4, OWT에서 50.4에 도달하며, 이는 기준 모델 대비 각각 24.2점과 20.7점을 개선하고 유사한 크기의 이산 DLM을 능가합니다. GSM8K에서는 27.4%의 정확도를 달성하여 이전 연속 확산 및 흐름 기반 모델들을 능가했습니다. 또한, H-CDLM을 흐름 일치 모델 FLM에 적용하여 H-FLM을 얻었으며, 이 프레임워크가 다양한 연속 생성 패러다임 전반에 걸쳐 일반화됨을 입증했습니다. 저희 코드는 https://github.com/matol-16/HCDLM.git 에서 공개될 예정입니다.