전국적 일본 의료 청구 기반 모델: 모델 스케일링과 작업별 계산 효율성의 균형

종단적 의료 데이터를 활용한 임상 위험 예측은 개인 맞춤형 치료를 지원합니다. 자기 지도 학습 기반 모델 (self-supervised foundation models) 은 대규모 비표기 의료 기록을 활용하기 위한 유망한 접근법으로 등장했습니다. 자연어 처리 (NLP) 분야에서는 스케일링 법칙 (scaling laws) 이 더 큰 모델이 예측 가능하게 더 낮은 사전 훈련 손실 (pretraining losses) 을 달성하여 기반 모델 패러다임을 지지한다고 제안합니다. 그러나 제한된 어휘와 희소 관측을 특징으로 하는 구조화된 의료 데이터의 경우, 모델 크기를 증가시키는 것이 일관되게 다운스트림 예측을 개선하는지는 명확하지 않습니다. 대부분의 연구가 단일 모델 스케일만 평가하기 때문입니다. 본 연구에서는 구조화된 의료 기반 모델에 대한 모델 스케일과 다운스트림 작업 성능 간의 관계를 평가했습니다. 전국 519 개 병원 일본 청구 데이터베이스의 무작위 샘플 (230 만 명 환자, 32 개 병원) 을 사용하여 질병 발생률 및 약물 예측을 위한 인코더 전용 트랜스포머 (encoder-only Transformers) 를 5 가지 스케일 (220 만1 억 100 만 파라미터) 로 사전 훈련했습니다. 다운스트림 성능은 작업 의존적 임계값에서 포화되었습니다: 질병 예측은 더 큰 모델 (3200 만1 억 100 만) 에서 이득을 얻었으나, 약물 예측은 1100 만 파라미터에서 포화되어 사전 훈련 시간을 178 시간 줄였습니다. 모든 작업에 걸쳐 가장 성능이 좋은 모델은 정밀도-재현율 곡선 아래 면적 (area under the precision-recall curve) 에서 라이트 그래디언트 부스팅 머신 (Light Gradient Boosting Machine) 기반선을 일관되게 상회했습니다. 이러한 발견들은 단조롭게 감소하는 사전 훈련 손실과 달리 최적 모델 크기가 작업 특성에 따라 달라진다는 것을 시사합니다. 이 작업 의존적 포화는 구조화된 의료 기반 모델에서 예측 성능과 계산 비용을 균형 있게 조정하기 위한 실용적인 지침을 제공합니다.