벡터 값 리프(vector-valued leafs)를 이용한 그래디언트 부스팅 (Gradient boosting)

의사결정 트리 앙상블 (decision tree ensembles) 형태의 그래디언트 부스팅 (Gradient boosting)은 단일 변수의 로그 가능도 (log-likelihoods)에 기반한 단순한 목적 함수 (objective functions)를 사용하여 다양한 문제에 성공적으로 적용되어 왔습니다. 이 개념은 벡터에 작용하는 목적 함수로 자연스럽게 확장될 수 있습니다. 예를 들어, 관측치가 각 클래스에 대한 점수를 갖는 다중 클래스 분류 (multi-class classification)를 위한 다항 로지스틱 로그 가능도 (multinomial logistic log-likelihood)가 이에 해당합니다. 하지만 대중적인 프레임워크들은 입력 벡터의 값을 한 번에 하나씩 업데이트하거나, 2차 도함수 (second derivative)에 대한 대각 상한 (diagonal upper bound)을 사용하는 방식으로 이러한 함수들에 접근합니다. 본 연구는 일반적인 그래디언트 부스팅 (gradient boosting) 프레임워크를 벡터 입력 함수로 확장하며, 히스토그램 기반 의사결정 트리 (histogram-based decision trees)와 함께 효율적으로 사용할 수 있는 간단한 알고리즘을 제안합니다.