Kubernetes 매니페스트 생성을 위한 문맥-도구적 데이터 증류: 방법론 및 실험적 평가

본 논문은 도메인 특화 언어 (DSL)의 아티팩트 생성을 위해 최대 40억 개의 파라미터를 가진 소형 언어 모델 (SLM)의 전문화에 대해 조사합니다. 대상 도메인으로는 Kubernetes 매니페스트가 선정되었습니다. 우리는 문맥-도구적 데이터 증류 (context-instrumental data distillation) 방법을 제안합니다. 소스 코퍼스 (source corpus)는 합성 생성 (synthetic generation)을 통해 형성되며, 확장된 방식으로는 실제 Kubernetes YAML 파일로부터의 역방향 지시문 생성 (reverse instruction generation)을 통해 형성됩니다. 이때 생성된 쌍 (pairs)은 외부 검증기 (external validators)를 통과하고 도메인 문맥 모델 (domain context model)과 일치하는 경우에만 학습에 포함됩니다. 고전적인 KL-발산 (KL-divergence) 지식 증류 (knowledge distillation)와 달리, 베이스라인 구현은 도구적으로 검증된 예시들에 대한 지도 미세 조정 (supervised fine-tuning)으로 축소됩니다. 실험 섹션에서는 자원이 제한된 환경에서의 파일럿 구현을 제시합니다. DeepSeek-V4 Flash API가 합성 생성을 위한 교사 모델 (teacher) 역할을 수행하며, Qwen2.5-Coder-1.5B-Instruct는 CPU 환경에서 LoRA를 통해 미세 조정됩니다. K8s-Distill-Pilot 코퍼스 (train_1200, validation_100, test_200)에서, 엄격한 프롬프트 구성과 max_new_tokens=768 설정을 통해 full-pass@1 = 91.5% (183/200)를 달성했습니다. 주요 경험적 발견은 Kubernetes YAML의 경우, 파일럿의 결과 품질이 단순히 학습 예시의 수를 늘리는 것보다 엄격한 출력 형식 요구 사항에 더 크게 의존했다는 점입니다.