대규모 언어 모델 (LLMs)은 코드 생성 벤치마크에서 높은 통과율을 달성하지만, 사전 학습 (pretraining) 단계에서 존재하지 않았던 언어로 이 능력을 전이할 수 있는지 여부는 여전히 명확히 밝혀지지 않았습니다. 우리는 모든 사전 학습 코퍼스 (pretraining corpora)에 존재하지 않는 최소한의 명령형 언어인 PyLang을 소개하며, 352개의 문제를 통해 최첨단 모델 (frontier models)과 파인튜닝 (fine-tuned)된 Qwen3 (4B, 8B, 32B)를 제로샷 (zero-shot) 방식으로 평가합니다. 연구 결과, 파인튜닝은 구문 (syntax)을 빠르게 학습시키지만 의미론적 역량 (semantic competence)을 전이하는 데는 실패함을 발견했습니다. 모든 설정에서 Python이 PyLang보다 최대 19% 더 높은 성능을 보였으며, 어떠한 개입 (멀티태스크 학습 (multi-task learning), 선호도 튜닝 (preference tuning), 코드 인필링 (code infilling), 또는 잠재 공간 목적 함수 (latent-space objectives))도 이 격차를 줄이지 못했습니다. LLM 판사 (LLM judge) 분석에 따르면, 최첨단 모델들은 80%의 확률로 Python과 동일한 알고리즘을 선택하지만, 이를 작동 가능한 PyLang 구현으로 번역하지는 못했습니다. 또한 CKA 분석을 통해 파인튜닝된 모델들이 언어 간에 거의 동일한 내부 표현 (internal representations)으로 수렴하는 반면 (CKA > 0.97), 출력 단계에서 분기된다는 것을 확인했습니다. 우리는 이를 구현 충실도 격차 (implementation fidelity gap)라고 명명합니다. 즉, 모델은 언어에 구애받지 않는 알고리즘적 이해력을 갖추고 있지만, 이를 익숙하지 않은 언어로 표현하지는 못한다는 것입니다. 우리의 연구 결과는 추론 (reasoning)과 언어 특화적 실현 (language-specific realization)을 분리하는 학습 방법의 필요성을 강조합니다.