SIREM: 학습된 샘플링을 이용한 음성 정보 기반 MRI 재구성

원문 발행 2026. 05. 18. 20:05원문 언어 영어AI 한국어 번역arXiv cs.CL 원문 보기

요약

SIREM은 실시간 MRI(rtMRI)의 해상도와 획득 속도 간의 상충 관계를 해결하기 위해 동기화된 음성 정보를 교차 모달 사전 정보로 활용하는 새로운 재구성 프레임워크입니다. 음성 데이터로부터 성도 구조를 예측하는 오디오 브랜치와 k-공간 데이터를 활용하는 MRI 브랜치를 결합하여, 해부학적으로 정확하면서도 빠른 재구성을 가능하게 합니다.

핵심 포인트

음성 정보와 MRI 데이터 간의 상관관계를 이용한 멀티모달 재구성 방식 제안
오디오 구동 성분과 MRI 구동 성분을 공간 가중치 맵으로 융합하여 이미지 품질 향상
학습 가능한 소프트 가중치 프로파일을 도입하여 k-공간 샘플링 최적화
기존의 반복적 방법(iterative methods) 대비 높은 처리량(throughput)과 해부학적 타당성 확보
USC 음성 rtMRI 벤치마크를 통한 성능 검증 및 소스 코드 공개

실시간 자기공명영상 (rtMRI)을 통한 발화 생성의 시각화는 동적인 성도 (vocal-tract) 운동을 비침습적으로 관찰할 수 있게 하며, 음성 과학 및 임상 평가에 매우 가치 있는 도구입니다. 그러나 rtMRI는 공간 해상도 (spatial resolution), 시간 해상도 (temporal resolution), 그리고 획득 속도 (acquisition speed) 사이의 상충 관계 (trade-offs)로 인해 근본적인 제약을 받으며, 이는 종종 언더샘플링된 k-공간 (k-space) 측정과 재구성 품질 저하로 이어집니다. 본 연구에서는 동기화된 음성을 교차 모달 사전 정보 (cross-modal prior)로 사용하는 음성 정보 기반 MRI 재구성 프레임워크인 SIREM을 제안합니다. 핵심 아이디어는 발화 중의 성도 구성이 생성된 음향과 상관관계가 있어, 이미지 콘텐츠의 일부를 오디오로부터 예측할 수 있다는 점입니다. SIREM은 공간 가중치 맵 (spatial weighting map)을 통해 각 프레임을 오디오 구동 성분 (audio-driven component)과 MRI 구동 성분 (MRI-driven component)의 융합으로 모델링합니다. 오디오 브랜치 (audio branch)는 음성으로부터 조음 기관 관련 구조를 예측하며, MRI 브랜치 (MRI branch)는 측정된 k-공간 데이터로부터 보완적인 콘텐츠를 재구성합니다. 나아가 우리는 스파이럴 암 (spiral arms)에 대해 학습 가능한 소프트 가중치 프로파일 (soft weighting profile)을 도입하여, k-공간 암 사용이 음성 정보 기반 융합과 어떻게 상호작용하는지를 미분 가능한 방식으로 연구할 수 있게 했습니다. 이는 오디오 구동 예측, MRI 재구성, 그리고 샘플링 적응 (sampling adaptation)을 결합한 통합된 멀티모달 정식화 (multimodal formulation)를 산출합니다. 우리는 gridding, 웨이브렛 기반 압축 센싱 (wavelet-based compressed sensing), 그리고 총 변동 (total variation)을 포함한 표준 베이스라인 모델들과 비교하여 USC 음성 rtMRI 벤치마크에서 SIREM을 평가했습니다. SIREM은 해부학적으로 타당한 성도 구조를 보존하면서도 반복적 방법 (iterative methods)보다 실질적으로 훨씬 높은 처리량 (throughput) 영역에서 작동하는 음성 정보 기반 재구성 패러다임을 도입합니다. 이러한 결과는 멀티모달 음성 정보 기반 rtMRI 재구성을 위한 초기 벤치마크를 구축하며, 빠른 재구성을 위한 보조 사전 정보로서 동기화된 음성의 잠재력을 강조합니다. 소스 코드는 https://github.com/mdhasanai/SIREM 에서 확인할 수 있습니다.

AI 자동 생성 콘텐츠

원문 바로가기

SIREM: 학습된 샘플링을 이용한 음성 정보 기반 MRI 재구성

요약

핵심 포인트

댓글