이산 확산 모델(Discrete Diffusion)을 이용한 제약 조건이 있는 코드 생성

이산 확산 모델(Discrete diffusion models)은 코드 생성(code generation)을 위한 강력하고 떠오르는 패러다임입니다. 이 모델들은 부분적으로 손상된 토큰 시퀀스(token sequences)를 반복적으로 정제함으로써 프로그램을 구축하며, 병렬적인 토큰 정제를 가능하게 합니다. 중요한 점은, 이 패러다임이 각 디노이징(denoising) 단계에서 전역적인 프로그램 상태(global program state)를 노출한다는 것이며, 이는 최종 코드가 확정되기 전에 생성을 유도함으로써 프로그램 수준의 기능 및 보안 제약 조건을 강제할 수 있는 자연스러운 개입 지점을 제공합니다. 이러한 관찰을 바탕으로, 본 논문은 제약 조건 충족(constraint satisfaction)을 역방향 디노이징(reverse denoising) 과정에 직접 통합하는 학습이 필요 없는 뉴로심볼릭 추론(neurosymbolic inference) 프레임워크인 CDC(Constrained Diffusion for Code)를 소개합니다. CDC는 수학적 최적화(mathematical optimization)와 프로그램 분석(program analysis)을 결합하여 중간 프로그램 상태의 제약 조건 관련 영역을 식별하고 디노이징 궤적(denoising trajectory)을 국소적으로 조정하는 제약 조건 인식 디노이징 연산자(constraint-aware denoising operators)를 통해 기본 이산 확산 샘플러(base discrete diffusion sampler)를 증강하며, 이를 통해 기본 모델과 유사성을 유지하면서도 생성을 실행 가능한 프로그램으로 유도합니다. 코드 생성 벤치마크 전반에 걸쳐, CDC는 기능적 정확성(functional correctness), 보안(security), 그리고 구문(syntax) 측면에서의 제약 조건 충족 능력을 일관되게 향상시켰으며, 더 적은 교정 연산과 더 국소적인 편집을 통해 이산 확산(discrete diffusion) 및 자기회귀(autoregressive) 베이스라인 모델들을 능가하는 성능을 보여주었습니다.