확산 언어 모델의 재생성 시점 학습

요약

본 기사는 확산 언어 모델의 재생성 시점 학습에 관한 내용을 다룹니다. 기존 리마스킹 방식의 한계를 극복하기 위해 DiVR이라는 검증기(verifier)가 개발되었습니다. 이 검증기는 생성기의 궤적을 분석하여 블록 재생성 시점을 결정하며, LLaDA-8B-Base에서 평균 정확도를 35.3%에서 43.4%로 향상시키는 성과를 보였습니다.

핵심 포인트

• 은닉 상태의 오류 정보는 주변 문맥 고정으로 인해 재현되는 문제가 있음.
• DiVR 검증기는 생성기 자체 변경 없이 블록 재생성 시점 및 대안을 결정함.
• LLaDA-8B-Base에서 평균 정확도를 35.3%에서 43.4%로 향상시킴.
• 검색 기준선 대비 높은 성능을 보이며 지도 미세 조정 등과 일반화됨.