R+R: 현재 LLM에서의 Java 보안 API 오용 재평가: JCA 및 JSSE API에 대한 외부 보안 지식을 활용한 재현 연구

Java 보안 API (Java security APIs)의 오용은 소프트웨어 개발에서 심각한 보안 문제입니다. 2024년의 연구는 이러한 문제가 LLM (Large Language Models)이 생성한 코드에서 광범위하게 나타난다는 것을 보여주었습니다. 그러나 이러한 현상이 현재의 모델에서도 지속되는지, 그리고 외부 보안 지식 (external security knowledge)이 이에 어떤 영향을 미치는지 여부는 여전히 불분명합니다. 본 논문은 Mousavi 등의 연구를 Java 암호화 아키텍처 (JCA, Java Cryptography Architecture) 및 Java 보안 소켓 확장 (JSSE, Java Secure Socket Extension) API에 대해 범위 제한적 재현 및 확장을 제시합니다. 우리는 두 가지 상호 보완적인 설정에 집중합니다: 최첨단 폐쇄형 코딩 모델인 GPT-5.5와 자체 호스팅 배포와 관련된 강력한 오픈 웨이트 (open-weight) 모델인 Llama-3.3-70B-Instruct입니다. 결과에 따르면 최신 LLM들이 Java 보안 API를 사용하는 성능은 더 뛰어나지만, Java 보안 API 오용 문제는 제거되지 않았습니다. 외부 보안 지식은 측정된 결과를 실질적으로 개선하지만, 그 효과는 모델에 따라 다릅니다. Llama-3.3-70B-Instruct의 경우, 보안 코드 예시 (secure code examples)가 가장 효과적인 단일 지식 유형입니다. GPT-5.5의 경우, 명시적인 오용 패턴 (explicit misuse patterns)은 본 벤치마크의 유효한 프로그램 중에서 탐지된 모든 보안 API 오용을 제거하지만, 일부 출력은 컴파일 오류 또는 대상 API 불일치로 인해 여전히 유효하지 않은 상태로 남습니다. 또한, 개발자 가이드 지식 (developer-guide knowledge)이 훨씬 더 효과적이게 되며, 보안 프롬프팅 (secure prompting) 역시 GPT-5.5에 큰 이득을 제공합니다. 전반적으로, 이러한 발견은 기존 연구에서 확인된 Java 보안 API 오용 위험을 확인시켜 주며, 검색 증강 지식 (retrieval-augmented knowledge)의 이점이 지식 자체와 검색 동작뿐만 아니라 모델의 능력 (model capability)에도 달려 있음을 보여줍니다.