66. K-Means 클러스터링: 레이블 없이 그룹 찾기

지금까지 Phase 6에서 다룬 모든 내용은 지도 학습(supervised learning)이었습니다. 모델에 정답이 있는 예시를 제공하는 방식입니다. 그리고 예측하도록 학습합니다. 하지만 K-Means는 다릅니다. 정답이 없습니다. 원본 데이터만 주고 '그룹을 찾아달라'고 요청하면, 그것을 수행합니다. 그리고 이 그룹들은 종종 놀랍도록 유용합니다. 고객 세분화(Customer segments), 문서 주제 분류(Document topics), 이미지 압축(Image compression), 이상 탐지(Anomaly detection) 등 모든 것이 클러스터링을 사용합니다. 하지만 그 어떤 것도 레이블을 가지고 있지 않습니다.

여기서 배울 내용

• K-Means가 그룹을 단계별로 찾는 방법
• 중심점(centroids)과 관성(inertia)이란 무엇인지
• K를 선택하기 위한 엘보우 메서드(elbow method)와 실루엣 점수(silhouette score)
• 초기화가 왜 중요하고 K-Means++는 무엇을 하는지
• K-Means가 실패하는 경우와 어떤 징후들이 나타나는지
• 실제 데이터셋을 사용한 전체 작동 코드

K-Means의 작동 방식 단계별 설명
The 알고리즘은 간단합니다. 원하는 클러스터 개수 $K$를 지정합니다. 그리고 다음 과정을 수행합니다:

1단계: 시작 중심점(starting centroids)으로 임의의 $K$개 지점을 선택합니다.
2단계: 모든 데이터 포인트를 가장 가까운 중심점에 할당합니다. 거리는 기본적으로 유클리디드 거리(Euclidean distance)를 사용합니다.
3단계: 각 중심점을 자신에게 할당된 모든 포인트들의 평균값으로 재계산합니다.
4단계: 중심점들이 움직임을 멈출 때까지 (또는 거의 움직이지 않을 때까지) 2단계와 3단계를 반복합니다.

그게 전부입니다. 레이블이 필요 없습니다. 이 알고리즘은 순전히 포인트들 간의 거리로부터 구조를 찾아냅니다.

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_blobs # 3개의 자연스러운 클러스터를 가진 데이터를 생성합니다
X , true_labels = make_blobs ( n_samples = 300 , centers = 3 , cluster_std = 0.8 , random_state = 42 )
plt . figure ( figsize = ( 6 , 5 ))
plt . scatter