트리에서 플로우와 백: 계층적 의사결정 트리와 확산 모델의 통합

요약

본 연구는 이산적이고 계층적인 의사결정 트리와 연속적이고 동적인 확산 모델을 수학적으로 통합하는 새로운 프레임워크를 제시합니다. 두 모델 간의 날카로운 대응 관계를 설정하고 공통 최적화 원리인 Global Trajectory Score Matching (GTSM)을 도출함으로써, 이상화된 그래디언트 부스팅이 점근적으로 최적임을 입증했습니다. 이를 통해 높은 정밀도와 속도를 갖춘 새로운 생성 모델(reeflow)과 계층적 의사결정 논리를 신경망으로 효과적으로 전이하는 방법(dsmtree)을 개발했습니다.

핵심 포인트

• 의사결정 트리와 확산 모델이라는 이질적인 두 모델 클래스를 수학적으로 통합하는 새로운 접근 방식을 제시함.
• 통합 과정에서 Global Trajectory Score Matching (GTSM)이라는 공통 최적화 원리를 발견하고, 이를 통해 그래디언트 부스팅의 점근적 최적성을 입증함.
• 새로운 생성 모델 'reeflow'를 개발하여 기존 대비 높은 정밀도와 2배 빠른 계산 속도를 달성함.
• 계층적 의사결정 논리를 신경망으로 전이하는 새로운 증류(distillation) 방법인 'dsmtree'를 제시하여, 기존 성능을 유지하면서 모델 구조를 개선함.