LLM이 Rust Crate를 만들어낼 때: 환각 패턴 및 완화 방안에 대한 실증적 연구

대규모 언어 모델 (LLMs)은 코드 생성(code generation)을 위한 강력한 도구가 되었지만, 그럴듯하지만 부정확하거나 허구적인 출력을 생성하는 환각 (hallucinations) 현상에 여전히 취약합니다. 이 중에서도 LLM이 존재하지 않는 의존성 (dependencies)을 제안하는 패키지 환각 (package hallucination)은 소프트웨어 공급망 (software supply chain)에 새로운 보안 위험을 초래합니다. 기존 연구들이 Python이나 JavaScript와 같은 인기 있는 언어에 집중했던 반면, 본 연구에서는 LLM이 생성한 Rust 코드 내의 crate 환각에 대한 최초의 대규모 실증적 연구를 제시합니다. 우리는 Stack Overflow, GitHub의 코딩 작업과 LLM이 생성한 작업을 결합한 다중 소스 데이터셋을 구축하였으며, 다양한 디코딩 (decoding) 설정 하에서 상용 및 오픈 소스 모델을 모두 평가하였습니다. 우리의 분석 결과, Python 및 JavaScript에서의 이전 발견 사항들과 달리, Rust에서의 환각 동작은 뚜렷한 패턴을 따르는 것으로 나타났습니다. 즉, 서로 다른 모델들이 놀라울 정도로 일관된 환각률을 보였으며, 이러한 비율은 모델 파라미터 (model parameters)에 대한 민감도가 매우 낮았습니다. 나아가, 우리는 코드 품질을 희생하지 않으면서 환각을 완화하기 위한 프롬프트 엔지니어링 (prompt engineering) 전략을 조사합니다. 본 연구는 LLM 지원 Rust 개발의 신뢰성 및 보안 함의에 대한 새로운 통찰을 제공하며, 향후 연구와 소프트웨어 엔지니어링 워크플로에서의 더 안전한 모델 배포를 위한 지침을 제공합니다.