제약 조건이 있는 코드 생성에서의 정렬 문제 (The Alignment Problem in Constrained Code Generation)

대규모 언어 모델 (LLMs)은 코드 생성에서 강력한 능력을 입증해 왔으나, 출력물에 구문(syntax) 오류나 타입(type) 오류가 빈번하게 포함되어 컴파일 실패를 초래하곤 합니다. 제약 조건이 있는 디코딩 (Constrained decoding)은 구조적으로 컴파일 오류를 완화하여 부수적으로 기능적 정확성 (functional correctness)을 향상시키는 해결책으로 제안되었습니다. 그러나 이전 연구들은 제약 조건 부여기 (constrainer, 예: 타입), 언어 모델, 그리고 대상 명세 언어 (target specification language, 예: TypeScript) 사이의 정렬 (alignment)이라는 제약 조건이 있는 디코딩의 핵심적인 측면을 간과하고 있습니다. 불일치 (Misalignment)는 제약 조건 부여기가 불완전하여 (incomplete) 대상에 속하는 프로그램을 거부하거나, 부정확하여 (unsound) 대상에 포함되지 않는 프로그램을 허용할 때 발생합니다. 불완전함에 의해 생성된 편향 (bias)은 언어 모델의 분포를 왜곡하며, 이는 코드 생성에 해로울 수 있습니다. 본 연구에서는 7개의 언어 모델, 2개의 대상 언어, 그리고 디코딩 중 타입과 구문을 강제하는 2개의 제약 조건 부여기를 사용하여 이 가설을 평가하며, 언어 모델이 다양한 수준의 불완전함에 어떻게 반응하는지 연구합니다. 세 가지 벤치마크에서 제약 조건 부여기가 불완전할 때, 제약 조건이 없는 디코딩 (unconstrained decoding)이 기능적 정확성 측면에서 제약 조건이 있는 디코딩보다 현저히 우수한 성능을 보였습니다. 불완전함은 모델을 프로그램 공간의 낮은 확률 영역으로 밀어넣어, 생성이 빈번하게 타임아웃(time out)되게 만들고 기능적 정확성을 최대 97%까지 감소시킵니다. 이러한 기여는 커뮤니티가 제약 조건이 있는 디코딩에서 불일치가 미치는 부정적인 영향을 인식하게 하며, 형식적 보장 (formal guarantees)을 갖춘 코드 생성 시스템에 유익한 제약 조건 부여기를 설계하는 방법에 대한 정량적 통찰을 제공합니다.