RADS: 강화학습 기반 샘플 선택으로 임상 환경 전이 학습 성능 향상

전이 학습 (Transfer Learning)은 한 도메인에서 학습된 지식을 다른 유사한 도메인에 적용하는 강력한 기법입니다. 특히 의료 및 임상 분야에서는 데이터 확보가 어렵고 클래스 불균형(class imbalance) 문제가 심각하여 모델 개발에 큰 어려움이 따릅니다. 이러한 환경에서 흔히 사용되는 방법 중 하나는 소수 샷 미세 조정 (few-shot fine-tuning)이지만, 그 성공 여부는 학습 예시로 선택된 샘플의 품질에 크게 의존합니다.

기존에는 불확실성 샘플링(uncertainty sampling)이나 다양성 샘플링(diversity sampling)과 같은 능동 학습 (Active Learning) 방법들이 유용한 샘플을 선별하는 데 사용되었습니다. 하지만 본 논문에서 지적하듯이, 데이터가 극도로 부족하고 클래스 불균형이 심한 조건에서는 이러한 전통적인 방식들이 진정으로 정보력이 높은 샘플보다는 이상치(outliers)에 편향되어 선택하는 경향을 보입니다. 이로 인해 모델의 전반적인 성능 저하를 초래할 수 있습니다.

이에 본 논문은 **RADS (Reinforcement Adaptive Domain Sampling)**라는 새로운 샘플 선택 전략을 제안합니다. RADS는 강화학습 (RL) 프레임워크를 활용하여 데이터셋 내에서 가장 정보력이 높은(most informative) 샘플들을 식별하는 것을 목표로 합니다. RL의 에이전트가 어떤 샘플을 선택할지 결정하고, 그 선택에 따른 보상(reward)을 최대화하도록 학습함으로써, 단순한 통계적 지표를 넘어선 깊이 있는 샘플 가치 평가가 가능해집니다.

실제 임상 데이터셋을 대상으로 한 실험 평가는 RADS의 우수성을 명확히 보여줍니다. 여러 실제 의료 환경 데이터를 사용했을 때, RADS 기반의 샘플 선택 전략은 전통적인 방법론들과 비교하여 모델의 전이 가능성(transferability)을 효과적으로 향상시키는 동시에, 극심한 클래스 불균형 조건에서도 견고하고 안정적인 성능을 유지하는 것으로 나타났습니다. 이는 데이터가 희소하고 복잡성이 높은 임상 환경에서 AI 모델을 개발하는 데 있어 중요한 돌파구를 제시합니다.