자원이 없는 언어(No Resource)? 자원이 없는 언어에서의 코드 생성(Code Generation)을 위한 LLM 평가 및 개선

요약

학습 데이터가 거의 없는 '자원 없는 언어(No-resource languages)'를 위한 LLM 코드 생성 성능 평가 및 개선 방안을 연구합니다. 새로운 벤치마크를 구축하고, 추가 사전 학습과 가중치 차이 전이(weight diff transfer) 기술을 통해 지시 수행 능력을 유지하며 성능을 높이는 방법을 제안합니다.

핵심 포인트

• 자원 없는 언어를 위한 3가지 코드 생성 벤치마크 구축 및 공개
• 추가 사전 학습이 성능 향상에 가장 효과적임을 확인
• 가중치 차이 전이를 통해 지시 수행 능력을 보존하며 성능 개선
• 기업용 도메인 특화 언어 모델의 저비용 배포 가능성 제시