분할 경로의 커널 (Kernel of Partition Paths): 트리 앙상블을 위한 통합 표현
요약
트리 앙상블 모델을 통합된 기하학적 객체로 해석하기 위한 '분할 경로의 커널(KPP)'을 제안합니다. KPP는 특징 맵을 노드로 인덱싱하여 예측, 기여도 산출, 강건성 반경 및 리스크 경계 등을 단일 그람 행렬로 통합합니다.
핵심 포인트
- 트리 앙상블을 위한 새로운 통합 기하학적 표현인 KPP 제안
- 예측, 가산적 기여도, 립시츠 강건 반경을 단일 메트릭으로 통합
- KPP 메트릭 기반의 결정론적 강건 반경 보장 제공
- 회귀 및 분류를 위한 균등 라데마허 리스크 경계 도출
최근의 연구들은 개별 결정 트리 (decision trees)를 분할 (splits)과 관련된 엔지니어링된 특징 (engineered features) 상의 선형 모델 (linear models)로 재구성하여, 오라클 부등식 (oracle inequalities)과 특징 중요도 (feature-importance) 재해석을 위한 경로를 열었으나, 특징 맵 (feature map)을 분할이 아닌 노드 (nodes)로 인덱싱할 때 숲 (forest)이 어떤 통합된 기하학적 객체를 유도하는지에 대한 질문은 여전히 남아 있습니다. 본 논문은 해당 객체를 연구합니다. KPP는 특징 맵을 숲의 노드로 인덱싱하며, 각 좌표를 제곱 유클리드 경로 등거리 임베딩 (squared-Euclidean path-isometric embedding)의 구성 요소로 변환하는 경로 메트릭 (path metric)에 의해 가중치를 부여합니다. KPP는 메트릭을 전달하는 단일 비대각 그람 행렬 (non-diagonal Gram) 아래 네 가지 기둥을 통합합니다: 예측 (prediction), 정확한 가산적 기여도 (exact additive attribution), KPP 메트릭에서의 결정론적 립시츠 강건 반경 (deterministic Lipschitz robust radius), 그리고 고정된 (fixed), 정직한 (honest), 또는 교차 적합 (cross-fit) 조건 하에서의 회귀 (regression) 및 분류 (classification)를 위한 균등 라데마허 리스크 경계 (uniform Rademacher risk bounds)입니다. 모든 확률적 보장 (probabilistic guarantees)은 해당 표현에 조건부이며 세 가지 명시적인 조건부 체계 하에 기술됩니다; 강건 반경 (robust-radius) 보장은 원시 입력 (raw input) 상의 노름 (norm)이 아닌 KPP 메트릭에서 결정론적입니다. 회귀와 분류 모두에 대한 빠른 속도 개선 (fast-rate refinements)에 대한 추측은 미해결 문제로 기술되었으며 정리 (theorems)로 주장되지 않았습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기