Divide-then-Diagnose: 임상의가 영감을 준 맥락을 활용한 초장시간 캡슐 내시경 비디오

캡슐 내시경(Capsule Endoscopy, CE)은 비침습적 위장관 검사를 가능하게 하지만, 현재의 CE 연구는 주로 프레임 수준 분류 및 탐지에 머물러 있어 비디오 수준 분석이 충분히 탐구되지 못하고 있습니다. 이러한 격차를 해소하기 위해, 우리는 진단 주도형(diagnosis-driven) CE 비디오 요약이라는 새로운 과제를 도입하고 공식적으로 정의합니다. 이 과제는 임상적으로 의미 있는 소견을 다루는 핵심 증거 프레임을 추출하고, 해당 증거 프레임들로부터 정확한 진단을 내리는 것을 요구합니다. 이러한 설정은 진단적으로 관련성이 높은 이벤트가 극도로 희소하며 수만 개의 중복된 정상 프레임에 의해 압도될 수 있고, 개별 관찰이 모션 블러(motion blur), 이물질(debris), 반사 하이라이트(specular highlights), 그리고 급격한 시점 변화로 인해 종종 모호하다는 점에서 까다롭습니다.

이 방향으로의 연구를 촉진하기 위해, 우리는 실제 임상 보고서에서 파생된 진단 주도형 어노테이션을 갖춘 최초의 CE 데이터셋인 VideoCAP을 소개합니다. VideoCAP은 240개의 전체 길이 비디오로 구성되어 있으며, 핵심 증거 프레임 추출과 진단 모두에 대한 현실적인 지도 학습(supervision)을 제공합니다. 이 과제를 해결하기 위해, 우리는 표준 CE 판독 워크플로우를 반영한 임상의가 영감을 준 프레임워크인 DiCE를 추가로 제안합니다. DiCE는 먼저 원본 비디오에 걸쳐 효율적인 후보 스크리닝(candidate screening)을 수행하고, 다음으로 Context Weaver를 사용하여 후보들을 뚜렷한 병변 이벤트를 보존하는 일관된 진단 맥락(diagnostic contexts)으로 구성하며, Evidence Converger를 통해 각 맥락 내의 다중 프레임 증거를 견고한 클립 수준 판단(clip-level judgments)으로 집계합니다.

실험 결과는 DiCE가 기존 최첨단 방법론들보다 일관되게 우수함을 보여주었으며, 간결하고 임상적으로 신뢰할 수 있는 진단 요약본을 생성했습니다. 이러한 결과들은 초장시간 CE 비디오 요약에 있어 진단 주도형 맥락 추론(diagnosis-driven contextual reasoning)이 유망한 패러다임임을 강조합니다.