대규모 언어 모델(LLMs)은 강력한 성능을 달성하지만, 자원이 제한된 환경에 배포하기에는 여전히 비용이 많이 듭니다. 소형 언어 모델(SLMs)을 처음부터 학습시키는 것은 계산 비용이 많이 들며, 기존의 지식 증류(knowledge distillation)는 다양한 목표 크기에 대해 대규모 교사 모델(large teachers)에 반복적으로 접근해야 하므로 확장성이 떨어집니다. 이러한 문제들을 해결하기 위해, 우리는 가변 크기 언어 모델을 효율적으로 초기화할 수 있는 확장 가능한 패러다임인 **체인 기반 증류(Chain-based Distillation, CBD)**를 제안합니다. 단계적 증류(stepwise distillation)를 통해 희소하고 제한적인 중간 모델 시퀀스(앵커, anchors라고 함)가 구성되며, 이는 점진적으로 전달하는 증류 체인을 형성합니다.