R+R: 현재 LLM에서의 Java 보안 API 오용 재평가: JCA 및 JSSE API에 대한 외부 보안 지식을 활용한 재현 연구

요약

최신 LLM인 GPT-5.5와 Llama-3.3-70B-Instruct가 생성하는 Java 보안 API(JCA, JSSE)의 오용 문제를 재현하고 분석한 연구입니다. 외부 보안 지식을 활용한 개선 효과를 실험하였으며, 모델의 성능과 지식 유형에 따라 보안 코드 생성 능력이 달라짐을 확인했습니다.

핵심 포인트

• 최신 LLM에서도 Java 보안 API 오용 문제는 여전히 지속됨
• Llama-3.3-70B-Instruct는 보안 코드 예시가 가장 효과적임
• GPT-5.5는 명시적 오용 패턴과 개발자 가이드 지식으로 성능 개선 가능
• RAG의 효과는 지식의 종류와 모델의 능력에 따라 상이하게 나타남