멀티모달 불규칙 시계열 (Multimodal irregular time series, MITS)은 이질적인 수치 및 텍스트 채널로부터 발생하는 비동기적이고 불규칙하게 샘플링된 관측치들로 구성됩니다. 예를 들어 의료 분야에서 환자의 전자 건강 기록 (Electronic Health Records, EHR)에는 불규칙한 검사 측정값과 임상 기록이 포함됩니다. 관측치의 불규칙한 타이밍과 채널 패턴은 수치 값 및 텍스트 내용과 함께 예측 신호를 전달합니다. LLM (Large Language Models)은 텍스트와 수치 도메인에 걸친 광범위한 사전 학습된 지식을 고려할 때, 이러한 이질적인 데이터를 처리하기 위한 자연스러운 후보입니다. 우리는 MITS를 Extensible Markup Language (XML) 형식의 시간 순서대로 정렬된 삼중항 (triplets)으로 표현하고, MITS 분류를 위해 2단계 전략을 통해 LLM을 미세 조정 (fine-tuning)하는 MILM (Multimodal Irregular time series Language Model)을 소개합니다. 첫 번째 단계는 값(value)이 삭제된 MITS를 사용하여 샘플링 패턴만으로 예측하도록 학습하며, 두 번째 단계는 전체 MITS를 사용하여 샘플링 패턴과 관측된 값을 공동으로 모델링하도록 학습합니다. 우리의 2단계 모델 (MILM-2S)과 그에 대응하는 단일 단계 모델 (MILM-Direct)은 여러 EHR 데이터셋에서 각각 최고 및 차석 평균 성능을 달성했습니다. 추가적인 값 삭제 (value redaction) 평가를 통해 샘플링 패턴이 예측 신호를 전달하며, MILM-2S가 이를 활용하도록 학습됨을 확인했습니다. 우리가 도입한 '평가 대기 중인 값 (value pending evaluation)' 상황(예측 시점에 일부 값을 사용할 수 없는 경우)에서, MILM-2S는 표준 평가와 비교했을 때 MILM-Direct보다 더 큰 차이로 성능을 앞섭니다. MILM-2S의 경우, 값이 대기 중인 관측치의 시간과 채널을 추가적인 샘플링 정보로 보존하는 것이 병원 내 사망률 예측을 더욱 향상시킵니다.