UNICS: 통합 의사코드 및 대조 학습 전이를 통한 다국어 코드 검색

사전 학습된 모델들이 코드 검색(code search) 분야에서 놀라운 성공을 거두었지만, 데이터 불균형, 교차 언어적 의미 간섭(cross-lingual semantic interference), 그리고 추상 구문 트리(ASTs)나 중간 표현(IRs)과 같은 기존 통합 표현 방식에서의 핵심 정보 손실 문제로 인해 다국어 능력은 여전히 주요한 장애물로 남아 있습니다. 또한, 전통적인 대조 학습(contrastive learning) 전략은 코드의 내재적인 의미 불변성(semantic invariance)을 학습하기 위해 하드 포지티브(hard positives)를 발굴하는 잠재력을 간과한 채, 단순한 하드 네거티브 샘플링(hard negative sampling)에 의존하는 경우가 많습니다. 이러한 과제를 해결하기 위해, 우리는 2단계 학습 전략을 기반으로 구축된 다국어 코드 검색 프레임워크인 UNICS를 소개합니다. 첫 번째 단계에서 UNICS는 우리가 구축한 새로운 데이터셋을 통해 사전 학습되며, 이 데이터셋은 완전한 의미적 충실도(semantic fidelity)를 보존하는 교차 언어적 알고리즘 수준의 로직을 학습하기 위해 의사코드(pseudo-code)를 통합 표현으로 사용합니다. 두 번째 단계에서는 코드를 의미적 슬라이스(semantic slices, 예: API 호출, 함수 본문)로 분해하고, 하드 포지티브 발굴 및 교차 언어적 동적 하드 네거티브 샘플링을 위한 태스크를 통합함으로써 이 일반적인 지식을 특정 언어에 적응시키는 멀티태스크 전이 학습(multi-task transfer learning) 전략을 채택합니다. 실험 결과, UNICS는 여러 다국어 및 교차 언어 벤치마크에서 최첨단(state-of-the-art) 성능을 달성하였으며, 특히 저자원 언어(low-resource languages)에 대한 제로샷 전이(zero-shot transfer) 태스크에서 탁월한 일반화 능력과 성능 균형을 보여주었습니다.