VoidPadding: [EOS]가 의미적 종료에 집중할 수 있도록 Masked Diffusion Language Models에서 패딩 처리를

MDLM(Masked Diffusion Language Models)은 미리 할당된 마스크된 응답 캔버스(masked response canvas)를 디노이징(denoising)함으로써 텍스트를 생성하며, 이는 응답 길이 모델링(response-length modeling)을 지시어 튜닝(instruction tuning)의 핵심 요소로 만듭니다. 기존의 MDLMs는 지시어 튜닝 중에 패딩(padding)을 위해 반복적인 \texttt{[EOS]} 토큰을 사용하는 자기회귀적(autoregressive) 관습을 그대로 계승하는 경우가 많으며, 이로 인해 \texttt{[EOS]}가 의미적 종료어(semantic terminator)와 패딩 토큰(padding token)이라는 이중적인 역할을 수행하게 됩니다. 우리는 이러한 이중적 역할이 대규모 블록 디코딩(large-block decoding) 상황에서 \texttt{[EOS]} 오버플로(overflow)를 일으키는 근본 원인임을 보여줍니다. 이러한 역할들을 분리하기 위해, 우리는 패딩을 위한 \texttt{[VOID]}를 도입하고 \texttt{[EOS]}를 종료를 위해 예약하는 VoidPadding을 제안합니다. 추론(inference) 과정에서 학습된 \texttt{[EOS]} 신호는 조기 종료(early stopping)를 가능하게 하며, 학습된 \texttt{[VOID]} 신호는 적응형 응답 캔버스 확장(adaptive response canvas expansion)을 안내합니다. Dream-7B-Instruct에서 VoidPadding은 수학적 추론 및 코드 생성 벤치마크 전반에 걸쳐 블록 크기 평균 4개 작업 평균 점수를 기존 모델 대비 $+17.84$ 포인트, RainbowPadding 대비 $+6.95$ 포인트 향상시키는 동시에, 디코딩 NFE(Number of Function Evaluations)를 평균 $55.7%$ 감소시켰습니다. 코드는 https://github.com/Haru-LCY/VoidPadding 에서 확인할 수 있습니다.