Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
EchoPilot은 초음파 비디오 세그멘테이션의 노이즈와 변형 문제를 해결하기 위한 학습 불필요(training-free) 프레임워크입니다. 스케일 공간 시맨틱 프롬프팅과 신뢰도 게이트 메모리 업데이트를 통해 단일 포인트 클릭만으로 정밀한 세그멘테이션을 수행합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기초음파 비디오 세그멘테이션(Ultrasound video segmentation)은 임상적으로 가치가 높지만, 스펙클 노이즈(speckle noise), 약한 경계(weak boundaries), 그리고 급격한 해부학적 변형(anatomical deformation)으로 인해 어렵습니다. 최근의 프롬프트 가능 파운데이션 모델(promptable foundation models)은 포인트 가이드 세그멘테이션(point-guided segmentation)을 가능하게 하지만, 초음파에 직접 적용하기에는 여전히 신뢰성이 떨어집니다. 단일 포인트는 스케일 모호성(scale ambiguity)을 해결하기에 불충분한 공간적 문맥(spatial context)을 제공하며, 탐욕적 메모리 업데이트(greedy memory updates)는 초기 오류를 심각한 시간적 드리프트(temporal drift)로 증폭시킵니다. 본 논문에서는 단 하나의 포인트 클릭과 해부학적 카테고리 이름만 있으면 되는, 희소한 첫 프레임 상호작용(sparse first-frame interaction) 환경에서의 초음파 비디오 세그멘테이션을 위한 학습 불필요(training-free) 프레임워크인 EchoPilot을 제시합니다. EchoPilot은 시맨틱 로컬라이제이션(semantic localization)을 위한 동결된 의료 시각-언어 모델(VLM), 조밀한 기하학적 특징 추출(dense geometric feature extraction)을 위한 비전 파운데이션 모델(VFM), 그리고 마스크 예측 및 전파(mask prediction and propagation)를 위한 프롬프트 가능 비디오 세그멘테이터(promptable video segmentor)를 조율합니다. 초기화 모호성을 해결하기 위해, 우리는 스케일 공간 시맨틱 프롬프팅(Scale-Space Semantic Prompting)을 제안합니다. 이는 먼저 파라미터가 없는 S.E.E.D.(Semantic Energy-Entropy Density) 기준을 통해 최적의 문맥적 뷰(contextual view)를 선택한 다음, 추가적인 사용자 상호작용 없이 조밀한 파운데이션 특징으로부터 기하학적으로 정밀한 보조 포인트 프롬프트(auxiliary point prompts)를 합성합니다. 전파 드리프트(propagation drift)를 줄이기 위해, 불확실한 예측 상황에서 세그멘테이터의 메모리 뱅크(memory bank)를 선택적으로 동결하여 오류 누적을 방지하는 신뢰도 게이트 메모리(Reliability-Gated Memory) 업데이트를 추가로 도입했습니다. 또한 우리는 671개의 주석이 달린 프레임이 포함된 최초의 동적 태아 태반 초음파 비디오 세그멘테이션 데이터셋을 기여합니다. 세 가지 초음파 비디오 데이터셋에 걸쳐, EchoPilot은 희소 상호작용(sparse-interactive) 설정에서 최첨단(state-of-the-art) 성능을 달성하며, 학습 불필요 베이스라인 및 미세 조정된 전문가 모델(finetuned specialists)들을 지속적으로 능가합니다.