데이터 누수(data leakage)는 머신러닝 모델의 조용한 살인자입니다. 학습을 마치고 테스트 세트에서 놀라운 98% 정확도를 보고 자신감을 느끼지만, 모델이 실제 운영 환경에 투입되어 완전히 실패하는 경우가 있습니다.

머신러닝에서 가장 간과하기 쉬운 부분은 데이터 누수를 적극적으로 예방하는 것입니다. 견고한 교차 검증(cross-validation)은 모델이 일반화되는지 확인하는 좋은 방법이지만, 단지 문제가 존재한다는 것만 알려줄 뿐입니다. 이 문제의 원인이 어디서 오는지 알려주지는 않습니다.

이를 해결하기 위해, 저는 데이터 누수를 유발하는 정확한 열(column)을 직접적이고 즉각적으로 식별하도록 설계된 표준화된 2단계 워크플로우를 만들었습니다. 하이퍼파라미터 튜닝에 몇 시간을 쓰기 전에, 데이터를 이 두 가지 빠르고 강력한 검사를 거쳐보세요.

1단계: 선형 누수 검사 (상관관계 및 단일 피처 R²)

우리의 첫 번째 방어선은 직접적이고 선형적인 관계를 찾습니다. 만약 단일 열이 그 자체만으로 타겟 변수를 완벽하게(또는 거의 완벽하게) 예측할 수 있다면, 당신은 누수(leak)를 가지고 있을 가능성이 높습니다. 예를 들어, 실수로 포함된 '미래' 타임스탬프나 타겟 레이블을 인코딩하는 ID 열 같은 경우입니다.

# ========================================
# 1. 빠른 상관관계 및 단일 피처 R²
...

작동 방식

1. 상관관계 계산(Calculate the Correlation): 코드는 먼저 x_train의 모든 피처와 타겟 y_train 사이에 Pearson 상관관계를 실행합니다. 상관관계는 두 변수가 직선상에서 얼마나 가깝게 함께 움직이는지를 측정하는 통계적 지표이며, -1부터 1까지의 값을 가집니다. 강력한 음의 상관관계 역시 강력한 양의 상관관계만큼 예측력이 높기 때문에 절댓값(abs())을 사용합니다.
2. R²로 변환: 그런 다음 이 상관관계 값들을 제곱합니다. 수학적으로 Pearson 상관관계를 제곱하면 단일 피처 R² (결정계수, Coefficient of Determination)를 얻게 됩니다. 이는 타겟 변수의 분산 중 해당 단일 피처 하나만으로 설명할 수 있는 정확한 백분율을 알려줍니다.
3. 필터링 및 플래그 지정: 마지막으로, 결과를 DataFrame에 넣고 높은 순서부터 낮은 순서로 정렬하며, 스스로 타겟의 분산 중 10% 이상을 설명하는 피처에는 플래그를 지정합니다.

효과적인 이유(Why it is Effective)

이 단계는 계산 비용이 매우 낮습니다. pandas의 corrwith 메서드에 의존하기 때문에 연산이 C에서 고도로 벡터화되어 있어, 수천 개의 컬럼을 찰나의 순간에 스캔할 수 있습니다. 단일 모델 학습을 요구하지 않으면서도 명백한 선형 누수(linear leaks)를 즉시 강조합니다.

단계 2: 비선형 누수 확인(Non-Linear Leakage Check)

선형 상관관계는 훌륭하지만, 복잡한 비선형 관계는 놓칩니다. 예를 들어, 정수로 매핑된 범주형 ID가 낮은 선형 상관관계를 가질 수 있지만 여전히 타겟 클래스를 완벽하게 분리할 수 있습니다. 이러한 것들을 포착하기 위해 단계 2로 넘어갑니다.

# ========================================
# 2. 빠른 비선형 누수 확인(Fast Non-Linear Leakage Check)
# ========================================
...

1. 얕은 트리 학습 (Train a Shallow Tree): 우리는 얕은 깊이(`max_depth=5`)를 가진 단일 `DecisionTreeRegressor`로 초기화합니다. 의사결정나무(decision tree)는 타겟 변수를 가장 잘 분리하는 특성(feature)을 기반으로 데이터를 그룹별로 지속적으로 분할하여 작동합니다.

2. 특성 중요도 추출 (Extract Feature Importance): 트리가 적합(fitted)되면, 우리는 `feature_importances_` 속성을 가져옵니다. Scikit-learn은 이 값을 불순도 감소(impurity reduction)를 기반으로 계산하는데, 이는 본질적으로 특정 특성이 트리가 깨끗한 분할을 만드는 데 얼마나 도움이 되었는지를 추적하는 것입니다.

3. 필터링 및 플래그 지정 (Filter and Flag): 우리는 이 `importances` 값을 열 이름에 매핑하고, 이를 정렬하며, 트리의 전체 의사결정 과정에서 10%를 초과하여 지시하는 모든 특성에 플래그를 지정합니다.

### 효과적인 이유 (Why it is Effective)

깊이가 5로 제한된 단일 의사결정나무는 학습 속도가 엄청나게 빠릅니다. 만약 특정 특성이 비선형 데이터 누수(non-linear data leakage)의 거대한 원천이라면, 트리는 즉시 그것에 끌려가 가장 상위 노드(root nodes)에서 그 특성으로 분할하게 될 것입니다. 게다가, 내장된 불순도 중요도를 추출하는 과정은 모델이 적합된 후에는 추가적인 계산 시간이 전혀 필요하지 않습니다.

### 출력 결과 (The Output):

=== 1. 선형 누수 확인 (Linear Leakage Check) (상관관계 및 R²) ===
🔴 잠재적 누수 원천 6개 발견 (R² > 10%):
Correlation (|r|) \
...

### 핵심 요약 (The Takeaway)

이 두 단계를 결합함으로써, 여러분은 무거운 모델 학습을 진행하기 전에 선형 및 비선형 데이터 누수(data leakage)를 모두 포착하는 엔드투엔드(end-to-end), 표준화된 워크플로우를 만듭니다. 이 코드 스니펫을 ML 파이프라인의 맨 위에 삽입하면, 프로덕션 환경에서 누수가 있는 데이터셋에 의해 더 이상 허를 찔리는 일이 없을 것입니다.