실시간 자기공명영상 (rtMRI)을 통한 발화 생성의 시각화는 동적인 성도 (vocal-tract) 운동을 비침습적으로 관찰할 수 있게 하며, 음성 과학 및 임상 평가에 매우 가치 있는 도구입니다. 그러나 rtMRI는 공간 해상도 (spatial resolution), 시간 해상도 (temporal resolution), 그리고 획득 속도 (acquisition speed) 사이의 상충 관계 (trade-offs)로 인해 근본적인 제약을 받으며, 이는 종종 언더샘플링된 k-공간 (k-space) 측정과 재구성 품질 저하로 이어집니다. 본 연구에서는 동기화된 음성을 교차 모달 사전 정보 (cross-modal prior)로 사용하는 음성 정보 기반 MRI 재구성 프레임워크인 SIREM을 제안합니다. 핵심 아이디어는 발화 중의 성도 구성이 생성된 음향과 상관관계가 있어, 이미지 콘텐츠의 일부를 오디오로부터 예측할 수 있다는 점입니다. SIREM은 공간 가중치 맵 (spatial weighting map)을 통해 각 프레임을 오디오 구동 성분 (audio-driven component)과 MRI 구동 성분 (MRI-driven component)의 융합으로 모델링합니다. 오디오 브랜치 (audio branch)는 음성으로부터 조음 기관 관련 구조를 예측하며, MRI 브랜치 (MRI branch)는 측정된 k-공간 데이터로부터 보완적인 콘텐츠를 재구성합니다. 나아가 우리는 스파이럴 암 (spiral arms)에 대해 학습 가능한 소프트 가중치 프로파일 (soft weighting profile)을 도입하여, k-공간 암 사용이 음성 정보 기반 융합과 어떻게 상호작용하는지를 미분 가능한 방식으로 연구할 수 있게 했습니다. 이는 오디오 구동 예측, MRI 재구성, 그리고 샘플링 적응 (sampling adaptation)을 결합한 통합된 멀티모달 정식화 (multimodal formulation)를 산출합니다. 우리는 gridding, 웨이브렛 기반 압축 센싱 (wavelet-based compressed sensing), 그리고 총 변동 (total variation)을 포함한 표준 베이스라인 모델들과 비교하여 USC 음성 rtMRI 벤치마크에서 SIREM을 평가했습니다. SIREM은 해부학적으로 타당한 성도 구조를 보존하면서도 반복적 방법 (iterative methods)보다 실질적으로 훨씬 높은 처리량 (throughput) 영역에서 작동하는 음성 정보 기반 재구성 패러다임을 도입합니다. 이러한 결과는 멀티모달 음성 정보 기반 rtMRI 재구성을 위한 초기 벤치마크를 구축하며, 빠른 재구성을 위한 보조 사전 정보로서 동기화된 음성의 잠재력을 강조합니다. 소스 코드는 https://github.com/mdhasanai/SIREM 에서 확인할 수 있습니다.