도움이 되는가 아니면 해로운가? 인간 연구를 통한 LLM 지원 취약점 패칭 평가

소프트웨어 취약점 수정(Software vulnerability remediation)은 일반적인 개발자들에게 종종 부족한 전문적인 보안 지식을 요구하는 인지적으로 까다로운 작업입니다. 한편, 대규모 언어 모델 (LLMs) 지원 도구들은 취약점 탐지, 위치 파악 및 수정 작업에서 잠재력을 보여주고 있습니다. [가설:] LLM의 지원이 패칭(patching)을 가속화할 것이라는 가설이 있지만, 이는 또한 환각(hallucinations)이나 안전하지 않은 코드를 도입할 위험이 있으며, 표준 기능 검사는 통과하지만 보안 검증에는 실패하는 피상적인 수정(superficial repairs)을 생성할 가능성을 높입니다. [목적:] 우리는 실제 시나리오에서 인간 참여자를 대상으로 수동 디버깅과 비교하여 LLM 지원 취약점 패칭의 능력을 밝히는 실증적 실험을 제시하고자 합니다. [방법:] 우리는 균형 교차 설계 (Balanced Crossover design)를 사용하여 통제된 실험을 수행할 계획입니다. 이를 위해 코드 실행을 위한 WebApp을 개발하였으며, 가시적인 기능 요구 사항을 넘어 패치 무결성을 검증하기 위해 숨겨진 고스트 테스트 (Ghost Tests)를 통합했습니다. 실험은 훈련 및 평가 시나리오를 포함합니다. 수정 속도, 표준 기능 테스트 및 보안 테스트 모두에 대한 수정 효능, 그리고 참여자 인식을 평가할 것입니다. [파일럿 연구:] 소수의 참여자를 대상으로 한 파일럿 실험이 수행되었으며, 이는 후속 연구를 위한 통찰을 제공합니다.