신용 위험 점수 산정: 변하지 않은 데이터 문제들

더 나은 모델들이 얇은 파일(thin-file) 문제, 대체 데이터의 품질 문제, 또는 규제된 대출 환경에서 배포 가능한 것을 통제하는 검증 요구사항을 해결하지 못했다. 데이터 문제가 여전히 가장 어려운 부분이다.

지난 10년간 신용 위험 모델링은 상당히 변화해 왔다. Gradient boosting이 대부분의 정교한 대출 기관에서 로지스틱 회귀(logistic regression)를 대체하며 표준 접근 방식으로 자리 잡았다. 현금 흐름 데이터, 임대료 납부 기록, 공과금 납부액 등 대체 데이터가 신용으로 파악 가능한 인구 집단을 넓혔다. 설명 가능성 도구(explainability tooling)는 복잡한 모델을 규제 환경에서 더 많이 배포할 수 있게 만들었다. 변하지 않은 것은 무엇인가? 어떤 모델이든, 아무리 정교하더라도 신뢰할 수 있는 예측을 생성할지 여부를 결정하는 데이터 품질 문제이다.

신용 위험 모델링의 제한 요소는 모델 아키텍처가 아니다. 합리적인 데이터를 주어진다면, 잘 조정된 gradient boosting 모델과 잘 조정된 logistic regression은 다르지만 둘 다 유용한 예측을 산출한다. 제한 요소들은 다음과 같다: 얇은 파일 문제(thin-file problem) (신용도가 있는 차입자 중 상당 부분이 신뢰할 수 있게 모델링하기에 충분한 전통적인 신용 기록이 부족함), 대체 데이터 품질 문제(alternative data quality problem) (얇은 파일을 해결할 수 있는 많은 데이터가 자체적인 신뢰성 및 커버리지 격차를 가지고 있음), 그리고 배포 가능한 것을 통제하는 모델 검증 요구사항들이다.

핵심 통찰: 최근 몇 년 동안 신용 위험 모델링을 개선한 대출 기관들은 더 나은 모델 아키텍처가 아니라, 주로 더 나은 데이터—특히 현금 흐름 데이터와 확장된 신용 조회사(credit bureau) 데이터를 통해—를 활용했다.
모델보다 중요한 것은 신호(signal)이다.

_

약 4,500만 명의 미국인이 신용 파일이 부족하거나 아예 없는 상태입니다. 이는 주요 신용 평가 기관에서 신뢰할 수 있는 점수를 산정하기에 전통적인 신용 기록이 충분하지 않다는 의미입니다. 이 인구 집단은 균일하게 고위험군인 것은 아닙니다. 여기에는 본국에서 강력한 재무 관리 역사를 가진 최근 이민자, 부채를 피했지만 안정적인 소득을 가진 젊은 성인, 그리고 역사적으로 현금 및 지역 사회 대출을 사용해 온 개인이 포함됩니다. 이들을 점수화할 수 없는 대출 기관은 신용도가 높은 차입자를 거절하고, 그 사업 기회를 할 수 있는 경쟁사에게 넘겨주게 됩니다.

전통적인 평가 기관 데이터만으로는 '신용 파일 부족(thin-file)' 문제를 해결할 수 없습니다. 왜냐하면 이 '신용 파일 부족' 자체가 정의상 평가 기관 데이터에 포함되어 있지 않기 때문입니다. 모델링 접근 방식을 확장하려면 비전통적 데이터 소스(임대료 납부, 공과금 납부, 현금 흐름 데이터)를 통합하거나, 신용도가 높은 인구의 일부는 전통적인 접근 방식으로는 점수화될 수 없다는 사실을 받아들여야 합니다.

전통적인 평가 기관 데이터만으로는 4,500만 명의 미국인을 점수화할 수 없습니다. '신용 파일 부족' 문제를 해결하려면 더 나은 모델이 아니라 비전통적 데이터 소스가 필요합니다.

대체 데이터(Alternative Data): 효과적인 것과 그렇지 않은 것

현금 흐름 데이터(Cash flow data) — 소득 입금, 반복 결제, 지출 패턴을 보여주는 거래 수준의 은행 계좌 데이터 — 는 소비자 대출에서 신용 위험에 가장 일관되게 유용한 대체 데이터 소스입니다. 이는 상환 능력 예측력이 높고, 오픈 뱅킹 통합을 통해 합리적인 범위의 커버리지를 가지며, 다른 대체 데이터 소스에 비해 비교적 깨끗합니다. 현금 흐름 특징(소득 안정성, 평균 잔액, 대출 상환 대비 소득 비율)은 평가 기관 데이터 위에 '신용 파일 부족' 차입자에게 의미 있는 점수 향상 효과를 더해줍니다.

임대료 납부 기록은 이용 가능하고 신뢰성 있게 보고될 경우에도 유용합니다. 즉, 정시 임대료 납부의 입증된 이력은 미래 신용 성과를 예측하는 지표가 됩니다. 하지만 커버리지 문제는 심각합니다. 대부분의 임대료 납부는 어떤 신용 정보 기관(bureau)에도 보고되지 않으며, 대체 제공업체로부터 얻는 임대료 납부 데이터의 커버리지는 지역별로 불완전하고 가변적입니다.

일관된 가치를 보여주지 못한 데이터 출처로는 소셜 미디어 신호, 비전통적인 출처의 교육 및 고용 데이터, 그리고 디지털 행동에서 파생된 '성향(character)' 신호 등이 있습니다. 이러한 유형의 데이터는 예상치 못한 곳에서 보호 특성(protected characteristics)의 대리 지표(proxy)가 나타나면서 공정 대출 위험(fair lending risk)을 야기하지만, 그에 상응하는 예측력을 제공하지 못하는 경우가 많습니다. 여러 대출 기관들은 공정 대출 테스트를 통해 차별적 영향(disparate impact)이 밝혀진 후 이러한 접근 방식에서 철수했습니다.

현금 흐름 데이터는 가장 일관되게 예측력이 높은 대체 데이터 출처입니다. 성향 및 디지털 행동 신호는 신뢰할 수 있는 예측력 증대 없이 공정 대출 위험을 야기합니다

최신성(Recency) 문제

2020년 이전 데이터를 기반으로 훈련된 신용 위험 모델은 저금리, 저실업률 경제 환경에서의 신용 행동을 반영합니다. 반면, 주로 2020~2022년 데이터를 기반으로 훈련된 모델은 경기 부양책 지급액, 유예 프로그램(forbearance programs), 그리고 비정상적인 납부 행태를 보인 전례 없는 경제 혼란기를 반영합니다. 이 두 가지 훈련 기간 어느 것도 정상화되는 금리 환경에서의 현재 신용 위험에 대한 신뢰할 수 있는 지표가 아닙니다.

실질적인 시사점은 다음과 같습니다. 2~3년 이상 된 데이터를 기반으로 훈련된 모델은 신뢰할 수 있다고 간주되기 전에 최근 성과 데이터와 재테스트되어야 합니다. 모델 개발 과정에서 안정적으로 보였던 성과 지표들조차 경제 환경이 변화하면서 상당히 저하되었을 수 있습니다.

이것은 새로운 문제가 아닙니다. 신용 모델의 경제 주기 민감성은 수십 년 동안 이해되어 온 문제입니다. 2020년 이후에 더 심각해진 이유는, 경제적 혼란이 너무 커서 위기 이전의 학습 데이터가 위기 이후의 행동을 예측하는 능력을 현저히 떨어뜨렸기 때문입니다. 모델이 2018년 또는 그 이전에 작성되었고, 2022년 이후의 성과 데이터에 맞춰 재보정되지 않은 대출 기관들은 정확도가 검증 지표가 시사하는 것보다 실질적으로 더 나쁠 수 있는 모델을 사용하고 있습니다.

2020년 이전 데이터로 학습된 모델은 최근 성과 데이터와 재시험되어야 합니다. 경제 환경의 변화는 해당 기간의 검증 지표가 반영하지 못하는 방식으로 정확도를 저하시켰기 때문입니다.

규제 환경에서의 모델 검증

은행 및 감독 대상 대출 기관의 경우, 신용 위험 모델은 SR 11-7에 따른 모델 위험 관리(model risk management) 요구 사항의 적용을 받습니다. 검증 요건은 단순히 내부 지표로 모델이 잘 작동하는 것만을 의미하지 않습니다. 해당 모델이 독립적으로 검증되었고, 그 검증이 개념적 건전성(conceptual soundness)과 결과 분석(outcome analysis)을 포괄하며, 한계가 문서화되어 있고, 지속적인 모니터링 체계가 갖추어져 있어야 합니다.

특히 규제 감시가 가장 엄격한 모델들, 즉 대규모 소비자 신용 인수 심사 결정에 사용되는 모델의 경우, 검증은 공정 대출 분석(fair lending analysis)을 표준 구성 요소로 포함해야 합니다. 예측 성능 지표에서는 잘 검증되지만 차별적 영향(disparate impact)에 대해 테스트되지 않은 모델은 규제 대상 대출 기관에서 운영 환경에 투입될 준비가 되어 있지 않습니다.

AI/ML 모델에 대한 실제적인 함의는 다음과 같습니다: 더 복잡한 모델은 더 많은 문서화와 더욱 정교한 검증 기능(validation function)을 요구합니다. 검증팀은 피처 엔지니어링(feature engineering), 훈련 데이터(training data), 하이퍼파라미터 선택 근거, 그리고 모델의 한계점을 충분히 이해해야만 각각에 대응하는 도전 과제(challenge)를 작성할 수 있습니다. 이는 달성 가능하지만 계획이 필요합니다. 즉, 개발 과정에 이들을 참여시키지 않은 상태에서 완성된 ML 모델을 모델 위험 관리팀(model risk management)에게 제시하는 것이 긴 검증 기간의 흔한 이유입니다.

모델 개발 초기에 모델 위험 관리팀을 참여시키는 것이 긴 검증 지연을 피할 수 있는 가장 효과적인 방법입니다.

원문은 CobuildX blog에 게시되었습니다.