확산 언어 모델을 위한 동적 청킹 (Dynamic Chunking)

요약

기존의 블록 이산 확산 언어 모델이 가진 고정된 위치 기반 분할의 한계를 극복하기 위해, 내용에 기반한 의미론적 청킹을 수행하는 DCDM(Dynamic Chunking Diffusion Model)을 제안합니다. DCDM은 학습 가능한 부분 공간을 통해 토큰을 클러스터링하는 청킹 어텐션을 사용하여, 시퀀스의 의미적 구조를 보존하며 자기회귀적으로 노이즈를 제거합니다. 실험 결과, DCDM은 최대 1.5B 파라미터 규모의 모델에서 기존 방식보다 일관되게 우수한 성능을 보여주었습니다.

핵심 포인트

• 고정된 위치 블록 대신 내용에 기반한 의미론적 청크(Semantic Chunks)를 사용함
• 청킹 어텐션(Chunking Attention)을 통해 토큰을 $K$개의 클러스터로 미분 가능한 방식으로 라우팅함
• 생성된 클러스터 할당을 통해 청크-인과적 어텐션 마스크를 유도하여 시퀀스 가능도를 인수분해함
• 기존 블록 이산 확산 모델을 엄격하게 일반화하며, 모델 규모와 상관없이 안정적인 성능 향상을 입증함