제17강: 분류 모델 - 결정 트리(Decision Trees), 앙상블(Random Forest/LightGBM/XGBoost), SVM, 그리고 로지스틱 회귀(Logistic Regression)

지난 제16강에서는 회귀 분석(Regression Analysis)을 중심으로 「연속값을 예측하는」 머신러닝(Machine Learning)을 배웠습니다.

이번에는 그와 대조되는 중요한 테마로서, 카테고리를 예측하는 「분류(Classification)」를 다룹니다.

분류 기법은 알고리즘의 메커니즘에 따라 몇 가지 계통으로 나뉩니다. 본 강의에서는 실무에서 빈번하게 등장하는 대표적인 기법을 3가지 계통(접근 방식)으로 정리하여 해설합니다.

트리 구조·앙상블 계열 (결정 트리 패밀리): 결정 트리(Decision Tree) / 랜덤 포레스트(Random Forest) / XGBoost・LightGBM -
선형·확률 모델: 로지스틱 회귀(Logistic Regression) -
마진 최대화·커널 모델: SVM (Support Vector Machine)

각 기법의 메커니즘, 장단점, 하이퍼파라미터(Hyperparameter), 그리고 실무에서의 모델 선정 진행 방법을 파악해 봅시다.

머신러닝에서의 **분류(Classification)**란, 입력 데이터를 미리 정의된 클래스(Class)로 나누는 태스크(Task)입니다.

예를 들어 다음과 같은 문제들이 분류에 해당합니다.

• 이메일이 「스팸」인지 「일반」인지
• 의료 데이터로부터 「질환 있음」인지 「질환 없음」인지
• 고객이 「해지할 것」인지 「유지할 것」인지

지난 회귀와의 차이점은 예측 대상이 연속값이 아니라 **이산 라벨(Discrete Label)**이라는 점입니다.

💡

칼럼: 분류 모델은 「회귀(수치 예측)」에도 사용할 수 있을까?

본 강의에서 소개하는 「결정 트리」, 「랜덤 포레스트」, 「LightGBM / XGBoost」, 「SVM」과 같은 기법들은 출력 계산 로직(말단에서의 다수결을 「평균값」 등으로 변경)을 전환함으로써, 그대로 회귀 분석(연속값 예측)에도 응용이 가능합니다 (예: DecisionTreeRegressor, SVR 등).
실무의 테이블 데이터(Table Data) 분석에서도 회귀와 분류를 불문하고 주역으로 활용되고 있습니다.

실무의 테이블 데이터 분류에서 가장 강력한 모델군입니다. 단일 결정 트리에서 앙상블(Ensemble, 배깅·부스팅)로의 발전 과정을 파악하는 것이 포인트입니다.

특징량(Feature)에 대한 「조건 분기(IF-THEN)」를 반복하며 데이터를 분류하는 기본 모델입니다.

단일 결정 트리는 구조가 심플한 반면, 과적합(Overfitting)되기 쉽고 정밀도에 한계가 있습니다. 그래서 실무에서 사용되는 것이, 여러 개의 모델(약학습기, Weak Learner)을 조합하여 높은 예측 성능을 끌어내는 「앙상블 학습 (Ensemble Learning)」입니다.

画像2.avif

「세 사람이 모이면 문수의 지혜가 나온다」는 말처럼, 여러 모델을 조합함으로써 개별 오차를 상쇄합니다. 주요 기법으로서 다음과 같은 대표적인 3가지 접근 방식이 있습니다.

배깅 (Bagging: Bootstrap Aggregating)

데이터를 랜덤하게 추출하여 여러 개의 트리를 병렬로 학습시키고, 결과의 다수결(평균)을 취하는 기법. (예: 랜덤 포레스트) -
부스팅 (Boosting)

이전 트리의 예측 오차를 다음 트리가 학습하도록, 직렬·단계적으로 트리를 추가하여 정밀도를 높이는 기법. (예: XGBoost, LightGBM) -
스태킹 (Stacking)

특기 분야가 다른 여러 모델의 예측 결과를, 다시 별도의 모델로 「종합하여 최종 판단」하는 기법.

수많은 결정 트리를 병렬로 구축하고, 데이터와 특징량의 랜덤 샘플링과 「다수결」로 결과를 통합하는 모델입니다.

• 장점: 단일 결정 트리보다 과적합에 강하며, 초기 설정에서도 안정적으로 높은 정밀도가 나오기 쉽다 -
• 단점: 결정 트리의 수가 늘어나면 계산량이 무거워지며, 단일 트리만큼의 직관적인 설명력은 상실된다

직전 트리의 예측 오차를 다음 트리가 보정하도록, 단계적으로 트리를 추가·갱신해 나가는 현재 실무의 결정판 기법입니다.

• XGBoost: 엄격한 트리 구축과 정규화(Regularization)를 통해 높은 일반화 성능과 안정성을 자랑하는 스테디셀러 알고리즘 -
• LightGBM: 리프 단위(Leaf-wise)로 성장시킴으로써 압도적인 고속화와 메모리 절약을 실현한 기법 -
• 장점: 테이블 데이터(구조화 데이터)의 분류에 있어 최고 수준의 예측 정밀도를 발휘한다 -
• 단점: 블랙박스화되어 적절한 하이퍼파라미터 튜닝(Hyperparameter Tuning)이 필요하다

입력의 선형 결합을 시그모이드 함수(Sigmoid Function)에 통과시킴으로써, 「어느 클래스에 속할 확률 (0~1)」을 산출하는 모델입니다.

장점: 학습 및 추론이 매우 빠르며, 오즈비(Odds Ratio) 등을 통해 특성량(Feature)의 영향도를 파악하기 쉽다. 베이스라인 모델로 최적 -
단점: 특성 공간에서 선형으로 분리할 수 없는 복잡한 문제에는 대응하기 어렵다

클래스 간의 경계선(분리 초평면, Separating Hyperplane)과 가장 가까운 데이터 점과의 거리(마진, Margin)를 최대화하는 모델입니다.

장점: 커널 기법(Kernel Method)을 통해 비선형 경계에도 대응할 수 있으며, 고차원 데이터에서도 높은 정밀도를 발휘한다 -
단점: 데이터량이 매우 많아지면 계산 비용(Computational Cost)이 무거워진다

각 기법의 용도 구분은 모델의 계통을 바탕으로 다음과 같이 생각하면 실무에서 판단하기 쉬워집니다.

가장 먼저 세우는 기준 모델: 로지스틱 회귀 (Logistic Regression) (가벼움·빠름·전체적인 경향 확인) -
설명 가능성(Explainability)을 최우선으로 할 때: 결정 트리 (Decision Tree) (단일) -
파라미터 조정의 수고를 줄이면서 안정적인 정밀도를 낼 때: 랜덤 포레스트 (Random Forest) -
테이블 데이터에서 최고 정밀도를 노릴 때: LightGBM / XGBoost (GBDT) -
고차원 데이터나 복잡한 비선형 경계를 다룰 때: SVM -
특성량(차원)이 극단적으로 너무 많을 때: 사전에 **PCA 등의 차원 축소(Dimensionality Reduction)**로 압축한 후 모델에 투입

💡

칼럼: 특성량(차원 수)이 너무 많을 경우의 대책 (차원 축소)

특성량의 수가 수백, 수천 개로 너무 많은 데이터에서는 「차원의 저주 (Curse of Dimensionality)」로 인해 모델의 학습 속도가 현저히 저하되거나 과적합 (Overfitting)이 일어나기 쉽습니다.

그러한 경우에는 모델 학습 전에 PCA (주성분 분석) 등의 차원 축소 (Dimensionality Reduction) 테크닉을 사용하여 중요한 정보를 유지한 채 저차원으로 압축하는 전처리를 수행하는 것이 유효합니다.

중요한 것은 곧바로 가장 복잡한 모델로 가는 것이 아니라,

「기준 모델 (로지스틱 회귀)로 토대를 만든다 → 트리 계열 앙상블 (Random Forest / LightGBM)로 정밀도를 끌어올린다」라는 순서로 검증하는 것입니다.

실무에서의 검증은 다음 4단계로 진행하는 것이 실패를 줄이는 정석입니다.

로지스틱 회귀로 기준 정밀도 (베이스라인)를 측정한다 -
단일 결정 트리로 데이터의 특성 분기나 설명성을 확인한다 -
Random Forest나 LightGBM / XGBoost를 투입하여 예측 정밀도를 크게 높인다 - 필요에 따라
SVM 등의 다른 계통 모델과 비교·평가한다

Accuracy (정확도): 전체적으로 얼마나 맞혔는가 -
Precision (정밀도): 양성(Positive)이라고 예측한 것 중 실제로 양성인 비율 -
Recall (재현율): 실제 양성 중 놓치지 않고 예측해낸 비율 -
F1 스코어 (F1-score): Precision과 Recall의 조화 평균 (불균형 데이터에서 매우 중요) -
ROC-AUC (AUC 스코어): 예측 확률의 임계값(Threshold)을 변동시켰을 때 모델의 종합적인 식별 성능 (1.0이 완벽, 0.5가 랜덤 판정. 불균형 데이터 평가에서 매우 중요)

본 강의에서는 분류 모델을 3가지 계통으로 나누어 정리했습니다.

트리 구조·앙상블 계열:

• 결정 트리 (Decision Tree) (규칙 시각화)

• 랜덤 포레스트 (Random Forest) (안정적인 병렬 앙상블)

• LightGBM / XGBoost (최강 수준의 순차적 앙상블)

선형·확률 모델: 로지스틱 회귀 (Logistic Regression) (빠른 베이스라인) -
마진 최대화 모델: SVM (고차원·비선형 경계에 강함)

알고리즘의 「계통 차이」를 이해해 두면, 데이터 구조에 따른 적절한 모델 선정과 단계적인 정밀도 개선을 원활하게 수행할 수 있게 됩니다.