이해 없는 보정: 시스템 소프트웨어 취약점 탐지를 위한 LLM 미세 조정(Fine-Tuning)의 한계 진단

요약

LLM의 시스템 소프트웨어 취약점 탐지 능력을 분석한 연구로, 미세 조정이 근본적인 보안 추론 능력을 향상시키기보다 단순한 출력 분포 조정에 그친다는 점을 밝혀냈습니다. CWE-Trace 프레임워크를 통해 데이터 오염의 영향이 미미하며, 모델의 사전 확률이 미세 조정을 압도한다는 사실을 증명했습니다.

핵심 포인트

• 미세 조정은 보안 추론 능력을 높이기보다 출력 임계값만 이동시키는 '이해 없는 보정'에 가깝습니다.
• 데이터 오염이 탐지 성능에 미치는 실질적인 이점은 측정 가능한 수준이 아닙니다.
• LLM의 백본 모델이 가진 방향성 사전 확률이 미세 조정 효과를 압도합니다.
• 현재 LLM은 시스템 소프트웨어 보안에 대해 신뢰할 수 있는 추론 능력이 부족합니다.