코드 RL의 언어 간 전이 성능 향상: Parallel-SFT 제안

요약

본 논문은 대규모 언어 모델(LLM)이 특정 프로그래밍 언어(PL)에 편중된 학습 데이터로 인해 다른 저자원 PL에서 성능 저하를 겪는 문제를 해결하고자 합니다. 연구진은 효과적인 코드 강화학습 (RL) 전이를 위해서는 일반화 가능한 지도 미세 조정 (SFT) 초기화가 필수적이라고 가정하고, '병렬 프로그램(parallel programs)'을 활용하는 **Parallel-SFT** 전략을 제안합니다. 이 방법은 기능적으로 동등한 코드를 여러 PL로 묶어 데이터에 주입하며, 이를 통해 모델의 잠재 공간(latent space)이 언

핵심 포인트

• LLM은 C++, Python 같은 고자원 PL에서 뛰어난 성능을 보이지만, 저자원 PL에서는 학습 데이터 부족으로 전이가 어렵습니다.
• 기존 코드 RL 방식으로는 소스 PL에서의 훈련이 타겟 PL의 성능 개선에 실패하거나 오히려 성능을 저하시키는 문제가 발견되었습니다.
• 제안된 Parallel-SFT는 기능적으로 동등한 코드를 여러 프로그래밍 언어(PL)로 구성하여 SFT 단계에서 모델에 주입함으로써 전이성을 높입니다.
• Parallel-SFT를 거친 모델은 PL 간의 등가 프로그램들이 잠재 공간 내에서 더 밀집하게 군집화되는 '기능 중심적 (functionality-centric)' 표현을 학습합니다.