혈당 예측 모델을 훈련했습니다 (2부)

이것은 제가 ohiot1dm + shanghait1dm + azt1d 데이터셋으로 훈련한 인코더 전용 트랜스포머 모델을 공유했던 이전 게시물과 관련이 있습니다. 이번에는 제 T1DM 환자 시뮬레이터의 출력값에 모델을 훈련시킨 후, 실제 혈당 추적 기록에 대한 zero-shot 성능을 측정했습니다.

위 모델은 31,251개의 파라미터를 가지고 있습니다 (16개 레이어, 레이어당 1개 어텐션 헤드, 은닉 차원 크기 16). 훈련 시간은 nvidia dgx spark에서 60분 미만이었습니다. 이것은 다음 2시간을 예측하는 인코더 전용 트랜스포머이며, 장기 예측(예: 8시간 야간 예측)을 위해 자기회귀적으로 사용될 수 있습니다. 저는 이 모델에 반사실적 추론 능력(counterfactual reasoning capabilities)을 갖도록 특별히 훈련시켰습니다. 이 모델은 합성 데이터로만 훈련되었으며, 테스트 전에 제 혈당 수치를 본 적이 없습니다. 저는 실제 CGM 추적 기록에 대한 가벼운 미세 조정(light fine-tuning)을 위해 앱에서 LoRA 어댑터를 사용하지만, 위에 보이는 그림과 표는 어떤 LoRA 어댑터도 연결하지 않은 기본 모델의 결과입니다. 이 앱은 지난 30일 동안 Libre 3 plus, Anytime CT5, Linx 센서 데이터라는 세 가지 다른 CGM 모델의 추적 기록에 대해 모델을 테스트하는 데 사용되었습니다.

테스트 자체는 ExecuTorch 백엔드를 사용하는 제 안드로이드 앱에서 수행되었습니다.

모델 소스 코드: github.com/0xdeadf1sh/T1DMAI
시뮬레이터 소스 코드: github.com/0xdeadf1sh/T1DMSIM
안드로이드 앱 소스 코드: github.com/0xdeadf1sh/T1DMDROID
제출자 /u/0xdeadf1sh
[링크] [댓글]