LLM이 생성한 버그 리포트 요약본의 환각 현상에 대한 실증적 분석 및 탐지

대규모 언어 모델 (LLMs)은 재현 단계 (Steps-to-Reproduce, S2R), 실제 동작 (Actual Behavior, AB), 기대 동작 (Expected Behavior, EB)과 같은 섹션을 포함하여 소프트웨어 버그 리포트의 요약본을 생성하는 데 점점 더 많이 사용되고 있습니다. 그러나 이러한 모델들은 원본 리포트에는 근거가 없지만 설득력 있게 보일 수 있는 환각 (hallucinations)을 빈번하게 생성합니다. 이는 개발자를 오도하고 자동화된 유지보수 도구에 대한 신뢰를 떨어뜨릴 수 있습니다. 기존의 환각 탐지 접근 방식은 일반적으로 전체 응답 수준 (full-response level)에서 출력을 평가하며 기술 문서의 구조를 고려하지 않습니다. 80개의 구조화된 버그 리포트 요약본을 대상으로 한 초기 탐색적 연구에 따르면, 약 47.9%가 정보 누락을 포함하고 있었으며, 12.3%는 조작된 내용을 포함하고 있는 것으로 나타나 버그 리포트 요약 작업에서 체계적인 환각 분석의 필요성을 강조했습니다. 본 연구에서는 섹션 인식 (section-aware) 관점에서 LLM이 생성한 버그 리포트 요약본의 환각을 실증적으로 조사합니다. Mozilla OSS 프로젝트에서 파생된 BugsRepo 데이터셋을 사용하여, 학습 및 평가를 위한 벤치마크를 구축하기 위해 통제된 합성 환각 주입 (controlled synthetic hallucination injection) 방식을 도입합니다. 우리는 요약본에 환각된 내용이 포함되어 있는지 여부를 공동으로 예측하고, 영향을 받은 섹션을 식별하며, 환각 유형을 분류하는 섹션 인식 환각 탐지 접근 방식을 제안합니다. 여러 사전 학습된 언어 모델 (pretrained language models)에 대한 실험 결과, 제안된 접근 방식이 모든 작업에서 강력한 성능을 달성함을 보여주었으며, 가장 우수한 모델은 리포트 수준 Macro-F1 0.89, 섹션 수준 Macro-F1 0.83, 환각 유형 Macro-F1 0.84를 기록했습니다. 우리는 더 나아가 현재 LLM이 생성한 버그 리포트 요약본의 한계를 더 잘 이해하기 위해 일반적인 환각 패턴과 모델 실패 모드 (failure modes)를 분석합니다. 이러한 연구 결과는 소프트웨어 유지보수 워크플로에서 LLM 지원 버그 리포트 요약의 신뢰성을 향상시키기 위한 섹션 인식 환각 분석의 중요성을 강조합니다.