의미 없는 구문: LLM의 미학습 언어 코딩 능력 및 구현 충실도 격차 분석

요약

본 연구는 LLM이 사전 학습에 존재하지 않는 가상의 명령형 언어(PyLang)에서 코드 생성 능력을 얼마나 잘 전이할 수 있는지 분석했습니다. 그 결과, 파인튜닝은 구문적 지식 습득에는 효과적이지만, 의미론적 역량 자체를 새로운 언어로 옮기는 데는 실패하는 것으로 나타났습니다. 특히 모든 설정에서 Python이 PyLang보다 높은 성능을 보였으며, 모델들이 알고리즘적 이해력과 실제 구현 능력 사이의 '구현 충실도 격차(implementation fidelity gap)'를 가지고 있음을 밝혀냈습니다.

핵심 포인트

• LLM은 사전 학습에 없던 언어에서도 코드 생성 능력을 전이할 수 있는지 여부가 주요 연구 주제입니다.
• 파인튜닝은 구문 학습에는 효과적이나, 의미론적 역량의 전이는 어렵다는 한계가 발견되었습니다.
• 모든 실험 설정에서 Python이 가상의 PyLang보다 높은 성능을 보였으며, 기존 튜닝 기법으로도 격차를 줄일 수 없었습니다.
• 모델들은 언어에 구애받지 않는 알고리즘적 이해력은 갖추지만, 이를 익숙하지 않은 언어로 정확히 구현하는 데 어려움(구현 충실도 격차)을 겪습니다.