증류 (Distillation)는 광범위한 데이터로 학습된 거대 모델로부터 배포에 적합한 더 작고 효율적인 모델로 지식을 전달합니다. 구조적 예측 (Structured prediction) 설정에서는, 작업에 대한 사전 지식을 활용하여 기저 문제와 알고리즘적으로 정렬된 (algorithmically aligned) 타겟 아키텍처를 선택할 수 있습니다. 의사결정 트리 (Decision-tree, DT) 증류에 대한 최근의 학습 이론적 분석 (Boix-Adsera, 2024)을 바탕으로, 본 연구에서는 조합 최적화 (Combinatorial optimization) 작업에서 증류가 언제 성공하는지를 연구합니다. 우리는 타겟 모델이 해당 작업의 동적 계획법 (Dynamic programming, DP) 알고리즘과 아키텍처가 정렬된 그래프 신경망 (Graph neural network, GNN)인 경우에 집중합니다. 선형 표현 가설 (Linear representation hypothesis, LRH) (Elhage et al., 2022; Park et al., 2024)을 통해 공식화된 것처럼 소스 모델이 충분히 풍부하다고 가정할 때, 우리는 증류 문제가 DT로 표현된 DP 전이 함수 (DP transition function)의 복잡도 파라미터 내에서 효율적으로 해결될 수 있음을 보여줍니다. 우리의 결과는 알고리즘 정렬 (Algorithmic alignment)의 관점에서 성공적인 증류를 위한 엄격한 충분 조건을 제공합니다.