무엇이 가장 먼저 언마스킹되는가? 그래프-텍스트 생성(Graph-to-Text Generation)을 위한 확산 모델(Diffusion

우리는 그래프-텍스트 생성(graph-to-text generation)을 위한 마스크 확산 언어 모델(Masked Diffusion Language Models, MDLMs)에 대한 최초의 체계적인 연구를 제시합니다. 우리는 MDLM 생성 궤적(generation trajectories), 즉 반복적인 디코딩(iterative decoding) 과정에서 토큰이 언마스킹(unmasked)되는 순서를 분석하였으며, 텍스트를 선형적으로 생성하는 자기회귀(autoregressive) LLM과 달리 MDLM은 자연스럽게 엔티티(entities)를 가장 먼저 우선시하고, 그 다음으로 관계어(relational words)와 기능어(function words)를 생성하며, 구조적 토큰(structural tokens)을 마지막에 해결한다는 것을 발견했습니다. 나아가 우리는 이전에 기록되지 않았던 지도 미세 조정(Supervised Fine-Tuning, SFT)의 실패 모드(failure mode)를 식별했습니다. SFT는 디코딩 궤적의 초기에 문장 종결 구조 토큰을 조기에 고정(anchoring)함으로써 이러한 전략을 방해하며, 이는 출력 길이를 효과적으로 고정시켜 정보 누락이나 환각(hallucination)을 초래할 수 있습니다. 이를 해결하기 위해 우리는 훈련이 필요 없는 추론 시점의 수정 방식인 람다 스케일 구조적 디코딩(lambda-scaled structural decoding)을 제안하며, 이는 구조적 토큰의 신뢰도(confidence)에 가중치를 낮추어 +9.4 BLEU-4를 회복합니다. 마지막으로, 우리는 관계형 그래프 구조를 명시적으로 통합하기 위해 LLaDA의 디코딩 과정에 그래프 트랜스포머(Graph Transformer) 인코더를 통합한 Graph-LLaDA를 소개합니다. LAGRANGE 데이터셋에 대한 교차 데이터셋 평가 결과, 이전의 베이스라인(baselines)들은 데이터셋 특유의 패턴에 과적합(overfit)되는 반면, LLM 및 MDLM 기반 방식은 훨씬 더 뛰어난 일반화(generalize) 성능을 보임을 확인했습니다.