코드 생성을 위한 문맥화된 코드 사전 학습 (Contextualized Code Pretraining)

요약

기존 코드 생성 모델들이 자연어 설명에 의존하는 한계를 극복하기 위해, 실제 코드의 호출 문맥(Local call-site context)을 활용하는 '문맥화된 코드 사전 학습' 방식을 제안합니다. 정적 분석을 통해 추출한 호출자-피호출자 쌍을 학습에 활용하는 CallerGen 모델과 새로운 벤치마크인 CallerEval을 통해 호출 문맥의 중요성을 입증했습니다.

핵심 포인트

• 실제 개발 환경에서 중요한 '호출 문맥(Usage context)'을 코드 모델 학습에 명시적으로 통합
• 정적 분석을 사용하여 대규모 호출자-피호출자(Caller-callee) 쌍을 자동으로 추출하는 프레임워크 제안
• 호출 인지 목적 함수를 적용한 최초의 코드 모델인 CallerGen 개발
• 현실적인 시나리오를 반영한 새로운 평가 벤치마크 CallerEval 구축
• CallerGen은 유사 규모 모델 대비 우수한 성능을 보이며, 대규모 모델과도 경쟁 가능한 수준의 성능을 입증