Hydra: 체크포인트 및 롤백 지원을 통한 효율적이고 정확한 코드 생성

대규모 언어 모델 (Large language models)은 코드 생성에 점점 더 많이 사용되고 있지만, 생성된 많은 프로그램이 유닛 테스트 (unit tests)와 같은 추가적인 정확성 검사를 위한 전제 조건인 컴파일 (compile)에 실패합니다. 정적 오류 (static errors)를 수정하기 위한 기존 솔루션들은 지연 시간 (latency)과 토큰 소비 (token consumption) 측면 모두에서 비용이 많이 듭니다. 사후 수정 (Post-hoc repair) 방식은 오류 탐지를 생성이 완료될 때까지 지연시키며, 일반적으로 이전에 유효했던 코드의 넓은 영역을 다시 생성합니다. 제약된 의미론적 디코딩 (Constrained semantic decoding)은 각 토큰마다 검사를 수행하여 토큰당 오버헤드 (overhead)를 발생시키며, 근본 원인이 앞부분에 있더라도 수정을 현재 토큰으로만 제한합니다. 우리는 코드 생성 중 정적 오류로부터 효율적으로 복구하기 위한 시스템인 Hydra를 제시합니다. Hydra는 검사가 생성과 비동기적으로 진행될 수 있도록 하여, 생성된 코드가 의미론적으로 올바를 때 검사기 오버헤드 (checker overhead)를 피할 수 있게 합니다. 또한, 표적 수정을 위한 체크포인트 및 롤백 (checkpoint-and-rollback) 지원을 제공하여, 유효한 접두사 (prefixes)의 재생성과 재검사를 방지합니다. 우리는 Clang C/C++ 컴파일러를 약간의 수정만으로 Hydra를 지원하도록 개조했습니다. 토큰 효율적인 수정 전략과 결합된 Hydra는 정적 오류가 발생하는 C/C++ 코드 생성 작업에서 사후 수정 방식 대비 지연 시간을 최대 71%까지, 토큰 소비를 최대 70%까지 줄여줍니다.