이진 이산 확산: 논리 및 계획 작업을 위한 후보 집합 확산

요약

본 논문은 텍스트 생성의 한계를 극복하기 위해 'Binary Discrete Diffusion'이라는 새로운 연속 시간 이산 확산 모델을 제안합니다. 이 모델은 노이즈 상태를 위치별 후보 토큰 집합으로 표현하여, 부분적으로 해결된 불확실성을 명시적으로 나타낼 수 있습니다. 이는 논리 추론, 계획, 코딩 등 복잡한 작업에서 기존의 마스크드/균일 확산 방식보다 우수한 성능을 보였습니다.

핵심 포인트

• Binary Discrete Diffusion은 후보 토큰 집합으로 노이즈 상태를 표현합니다.
• 부분적인 불확실성을 명시적으로 모델링할 수 있게 합니다.
• Sudoku, 그래프 색칠 등 제약 조건 작업에서 강력한 성능을 입증했습니다.
• 후보 집합 자체가 반복적 추론의 효과적인 중간 표현임을 보여줍니다.