저는 사전에 생성된 합성 CGM 데이터셋(CGM dataset)을 사용하여 커스텀 파라미터가 31,253개인 encoder-only transformer를 훈련시켰고, LoRA를 이용해 저의 개인 데이터에 맞게 조정했습니다. 이 모델은 다른 발표된 모델들과 비교하여 경쟁력이 있습니다. 저는 총 115일간의 CGM 데이터를 사용했으며, 그중 80일은 어댑터(adapter) 훈련에, 35일은 테스트에 사용했습니다.
이 모델은 사전 훈련(pretraining) 단계에서 약 19,200 CGM년 분량의 합성 데이터를 소비했는데, 이는 각각 7일씩 시뮬레이션된 1백만 명의 제1형 당뇨병 환자들로 구성되어 있습니다. 이 시뮬레이터는 반사실적 추론(counterfactual reasoning)을 지원하도록 설계되었지만, 아직 이러한 능력을 다운스트림에서 테스트할 벤치마크가 없습니다. 단순히 이 모델을 제 휴대폰에 사용하는 것만으로도 미래의 인슐린 및 탄수화물(carbs)을 고려하도록 강제했을 때 적절하게 반응하는 것처럼 느껴집니다.
시계열 입력 외에도 두 가지 추가 입력이 제공됩니다: 인슐린 (U)과 탄수화물 (G, GI)로, 이는 행동 곡선(action curves)입니다. 여기서 U는 인슐린 단위(units of insulin), G는 그램(grams)의 탄수화물을 의미하며, GI는 혈당 지수(glycemic index)를 의미합니다. U는 정확한 값이고, (G, GI)는 제가 최선의 추정치입니다.
이 모델은 {DILATE, MSE}와 학습된 Kendall-Gal 가중치를 결합한 pinball loss를 사용하여 Kovatchev 위험 공간(risk-space)의 BG(혈당 수치)를 출력하도록 훈련되었습니다. 위의 그림들은 DILATE를 사용하여 훈련된 모델들을 보여줍니다. 이 모델은 2시간 후까지 예측하고, 누락된 추적 기록을 채우며(infill missing traces), 과거로 역추정(backcasts, 과거 예측)할 수 있습니다.
소스 코드는 다음과 같습니다: https://github.com/0xdeadf1sh/T1DMAI 이 모델은 또한 과거 혈당 수치를 기반으로 시간대(time-of-day)를 예측하도록 훈련되었는데, 이는 시간대를 입력 특징으로 사용하는 다른 모델들과 대조적입니다. 이러한 능력은 >=48시간의 컨텍스트 창(context windows) (즉, 지난 48시간의 CGM 추적 기록)에서 나타납니다. 본질적으로 이 모델은 3.5일에서 7.0일까지 가변적인 컨텍스트 창 크기를 가지고 있습니다.
다음 약 30분 동안의 저혈당(hypoglycemia)을 예측하는 데 있어서는 여전히 제가 더 나은 상태입니다.