Diffusion 대규모 언어 모델(dLLMs)에서의 평가 환상(Evaluation Illusion) 이해

병렬 디코딩(parallel decoding)의 능력에도 불구하고, diffusion 대규모 언어 모델(diffusion large language models, dLLMs)은 생성 품질을 유지하기 위해 많은 디노이징(denoising) 단계가 필요하며, 이는 최근 효율적인 디코딩 전략에 대한 연구를 촉발했습니다. 그러나 기존 연구들은 겉보기에 동일한 평가 설정 하에서도 일관되지 않은 평가 결과를 보고해 왔으며, 이는 dLLM 디코딩 방법에 대한 편향된 결론을 내릴 위험이 있습니다. 이러한 평가 문제를 이해하기 위해, 우리는 다양한 평가 설정에 걸쳐 dLLM을 위한 현재의 디코딩 방법들에 대한 엄격한 평가를 수행합니다. 놀랍게도, 우리의 분석은 디코딩 방법의 순위가 프롬프트 템플릿(prompt templates)의 선택에 매우 민감하다는 것을 보여줍니다. 단일 템플릿 평가는 디코딩 방법이 성능 저하 없이 추론 효율성을 개선한다는 환상(illusion)을 불러일으킬 수 있습니다. 종합적인 실험을 통해, 우리는 현재의 병렬 디코딩 방법들이 단일 토큰 디코딩(single-token decoding) 베이스라인보다 지속적으로 성능이 낮으며, 속도-품질 트레이드오프(speed-quality trade-off)를 극복하지 못한다는 것을 발견했습니다. 우리는 더 나아가 이러한 평가 불일치를 프롬프트 템플릿의 미세한 변화에 대한 병렬 디코딩 방법의 높은 민감도로 식별합니다. 우리의 실험은 효과적인 프롬프트 템플릿이 더 적은 디노이징 단계로도 강력한 평가 결과를 달성할 수 있으며, 이는 디노이징 단계를 늘림으로써 얻는 미미한 이득을 현저히 능가한다는 것을 보여줍니다. 프롬프트 템플릿 외에도, 우리의 실험은 간과된 평가 설정 또한 디코딩 방법에 대한 평가에 현저한 영향을 미칠 수 있음을 나타냅니다. 이러한 발견을 바탕으로, 우리는 dLLM에서 디코딩 방법의 신뢰할 수 있는 평가를 위한 실질적인 가이드라인을 제안합니다.