dashi: 신뢰할 수 있는 AI 개발 및 배포를 지원하기 위한 데이터셋 변화(Dataset Shift) 특성화용 Python 라이브러리

인공지능 (AI) 생명 주기에서는 견고하고 안전하며 비용 효율적인 AI 개발 및 사용을 위해 기저에 깔린 데이터 역학에 대한 철저한 이해가 필요합니다. 데이터셋 변화 (Dataset shifts)는 훈련 데이터와 테스트 데이터 분포 사이의 변화로 정의됩니다. 시간의 흐름에 따라 발생하거나 (temporal) 서로 다른 사이트 간에 발생하든 (multi-source), 이는 모델 성능을 심각하게 저하시키고 데이터 품질을 해칠 수 있습니다. 이는 특히 헬스케어 AI에서 중요한데, 훈련 및 운영 단계 모두에서 통제되지 않은 변화가 발생할 경우 환자의 안전과 기본권이 심각하게 영향을 받을 수 있기 때문입니다. 공변량 변화 (covariate shift), 사전 변화 (prior shift), 개념 변화 (concept shift)에 대한 이론적 토대는 잘 확립되어 있지만, 이를 분석하기 위한 접근 가능하고 포괄적인 소프트웨어 도구는 부족한 실정입니다. 우리는 데이터셋 변화의 탐색, 정량화 및 특성화를 위해 설계된 오픈 소스 Python 라이브러리인 dashi를 소개합니다. dashi는 이중 접근 방식을 제공합니다. 첫째, 데이터 변동성 특성화 및 분석을 위해 정보 기하학 (information geometry)과 비매개변수적 통계 다양체 (non-parametric statistical manifolds)를 활용하는 비지도 학습 (unsupervised) 접근 방식 (예: 정보 기하학적 시간적 도표 (Information Geometric Temporal plots) 및 Global Probabilistic Deviation, Source Probabilistic Outlyingness와 같은 다중 소스 변동성 지표 (Multi-Source Variability metrics))을 제공합니다. 둘째, 모델 성능 저하를 정량화하고 특성화하는 지도 학습 (supervised) 접근 방식입니다. 비지도 및 지도 학습 접근 방식 모두 사용자가 정의한 시간적 및 도메인/소스 배치 (batches)에 걸쳐 작동합니다. 우리는 임신성 당뇨병, COVID-19, 응급 의료 파견에 관한 세 가지 시뮬레이션 및 실제 헬스케어 AI 사례 연구를 통해 dashi의 유용성을 입증합니다. dashi는 대화형 시각적 분석과 변동성 지표를 제공함으로써 AI 생명 주기의 신뢰성을 지원하며, 데이터 일관성 (data coherence) 및 AI 성능 평가를 통해 견고하고 안전한 머신러닝 파이프라인을 가능하게 합니다.