SMM4H-HeaRD 2026에서의 CaresAI: TNM 병기 예측
요약
SMM4H-HeaRD 2026 태스크의 일환으로 TCGA 병리 보고서를 활용해 TNM 병기를 예측하는 연구입니다. ClinicalBERT, BioBERT 등 임베딩과 LightGBM, WRN 모델을 활용하여 다중 레이블 분류 성능을 분석했습니다.
핵심 포인트
- TF-IDF와 다양한 BERT 임베딩을 결합한 다중 레이블 분류 접근법 제안
- LightGBM 모델이 훈련 단계에서 가장 우수한 AUROC 및 F1-score 기록
- 테스트 세트 간 성능 차이를 통해 모델의 일반화 능력 및 클래스 불균형 문제 확인
- 임상 문서 처리의 복잡성과 실제 환경 적용을 위한 추가 최적화 필요성 시사
본 연구는 SMM4H-HeaRD 2026의 여섯 번째 공유 태스크(shared task)로서, Cancer Genome Atlas (TCGA) 병리 보고서를 활용하여 종양(Tumor), 림프절(Node), 전이(Metastasis) (TNM) 병기 레이블을 독립적으로 예측하는 것을 목표로 합니다. 이 문제는 세 가지 다중 레이블 분류 (multi-label classification) 태스크로 구성됩니다. 우리는 단어 빈도-역문서 빈도 (TF-IDF) 특징량과 ClinicalBERT, BioBERT, PubMedBERT로부터 추출한 임베딩 (embeddings)을 사용하여 고전적 방식과 딥러닝 (deep learning) 접근 방식을 모두 탐색합니다. 이러한 표현형들은 로지스틱 회귀 (Logistic Regression (LR)), Light Gradient Boosting Machine (LightGBM), 피드포워드 신경망 (Feed-Forward Neural Networks (FFNN)), 그리고 Wide Residual Networks (WRN)와 함께 사용됩니다. 연구 결과, 개별 임베딩은 TNM 레이블 분류와 유사한 성능을 보였으나, 이들을 결합했을 때 예측 능력이 향상되었습니다. WRN은 훈련 단계 (training phase)에서 각각 0.839 (T), 0.8502 (N), 0.803 (M)의 AUROC 점수와 0.622, 0.702, 0.9337의 F1-score를 달성했습니다. TF-IDF를 사용한 LightGBM은 훈련 단계에서 0.9368 (T), 0.9524 (N), 0.8311 (M)의 AUROC 점수와 0.7559 (T), 0.7384 (N), 0.7017 (M)의 F1-score를 기록하며 가장 우수한 성능을 보였습니다. 나아가, 테스트 세트에 대한 Codabench 결과에 따르면 테스트 세트 1의 T, N, M 카테고리에 대한 Macro-F1 점수는 각각 0.978, 0.957, 0.879를 기록하였고, 테스트 세트 2의 T, N, M에 대한 Macro-F1 점수는 각각 0.807, 0.767, 1.0을 기록했습니다. 그러나 테스트 세트의 평가 단계 (evaluation phase) 동안 모든 병기에 걸친 Macro-F1 점수가 테스트 세트 1의 0.938에서 테스트 세트 2의 0.858로 하락하며 성능이 저하되었습니다. 이는 모델의 일반화 능력 (generalizability)의 한계, 클래스 불균형 (class imbalance)에 대한 민감도, 그리고 긴 임상 문서 처리의 어려움을 시사합니다. 본 연구는 효율적인 베이스라인 모델 (baseline model)과 재현 가능한 파이프라인 (reproducible pipeline)을 제공하지만, 실제 임상 환경에서 사용하기에 적합하다고 간주되기 전에는 추가적인 최적화 및 검증이 필요합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기