PLMGH: 코드 분류 및 취약점 탐지를 위한 PLM-GNN 하이브리드에서 중요한 요소

코드 이해 모델은 사전 학습된 언어 모델 (Pretrained Language Models, PLMs) 과 그래프 신경망 (Graph Neural Networks, GNNs) 에 점점 더 의존하고 있으며, 이는 상호 보완적인 의미적 및 구조적 정보를 포착합니다. 우리는 세 가지 코드 전문화 PLM 과 세 가지 기본 GNN 아키텍처를 체계적으로 짝지음으로써 코드 분류 및 취약점 탐지 작업에 대한 PLM-GNN 하이브리드에 대해 통제된 실증 연구를 수행했습니다. 이 하이브리드들은 Java250 와 Devign 데이터셋에서 PLM 만 사용 및 GNN 만 사용하는 베이스라인과 비교되었으며, 식별자 혼란 (identifier-obfuscation) 설정도 포함되었습니다. 두 작업 모두에서 하이브리드는 GNN 만 사용하는 베이스라인을 일관되게 능가하며, 동결된 PLM 과 비교하여 순위 품질을 종종 개선합니다. Devign 에서 성능과 견고성은 GNN 백본보다 PLM 기능 소스에 더 민감했습니다. 또한 우리는 이 파이프라인에서 더 큰 PLM 이 반드시 더 나은 기능 추출기는 아니며, PLM 선택이 GNN 선택보다 더 큰 영향을 미친다는 점도 발견했습니다. 마지막으로, 우리는 이러한 발견을 코드 분류 및 취약점 탐지를 위한 PLM-GNN 설계 선택에 대한 실용적인 지침으로 요약했습니다.