GLINT: 미세한 방사선학적 표현을 위한 희소 게이트 기반 시각-언어 정렬

방사선학(radiology)을 위한 시각-언어 모델(Vision-language models, VLMs)은 임상 워크플로우에서 자연스럽게 생성되는 이미지-보고서 쌍을 활용함으로써 확장 가능한 패러다임으로 부상했습니다. 그러나 이러한 쌍 구성은 규모의 불일치를 드러냅니다. 각 소견(finding)은 이미지의 아주 작은 영역만을 차지하지만, 감독(supervision)은 오직 전역적인 이미지-보고서 수준에서만 제공됩니다. 이는 핵심적인 과제를 제기합니다. 즉, 기존 방식들은 주어진 쿼리(query)와 관련된 희소한(sparse) 하위 집합에 집중하기보다는 모든 패치(patch)에 가중치를 밀집하게 분산시킨다는 점입니다. 이를 해결하기 위해, 우리는 이러한 희소한 대응 관계를 명시적으로 모델링하는 프레임워크인 GLINT (Gated Language-Image alignmeNT)를 제안합니다. 정렬(alignment) 측면에서는, 별도의 게이트 임베딩 공간(gate embedding space)에 대한 시그모이드 게이트(sigmoid gate)가 각 텍스트 쿼리와 관련된 패치만을 활성화하여 명시적인 희소성을 강제하는 새로운 아키텍처인 희소 게이트 정렬(Sparsely Gated Alignment)을 도입합니다. 표현(representation) 측면에서는, 학습 가능한 인코더(encoder)의 중간 특징(intermediate features)을 동결된 자기지도 학습(self-supervised learning, SSL) 교사(teacher) 모델에 고정하는 밀집 특징 정규화(Dense Feature Regularization)를 추가하여, 게이트가 의존하는 미세한 패치 특징을 보존합니다. 동일한 레시피가 각각 DINOv3와 V-JEPA 2.1로 구축된 2D 흉부 X선(CXR) 및 3D 흉부 컴퓨터 단층촬영(CT) 모두에 적용됩니다. GLINT는 자유 텍스트 쿼리로부터 제로샷(zero-shot) 분류, 그라운딩(grounding), 세그멘테이션(segmentation)을 가능하게 하며, 우리가 알기로는 마스크 감독(mask supervision) 없이 3D CT 볼륨에서 제로샷 세그멘테이션을 입증한 첫 번째 사례입니다. 특히, 가장 두드러진 이점은 희소하고 쿼리 특화된 지역화(localization)가 요구되는 제로샷 그라운딩 및 세그멘테이션에서 나타나며, 이는 우리의 설계 의도와 일치합니다. 다운스트림 평가(downstream evaluation)에서 GLINT는 분류, 보고서 생성 및 세그멘테이션 모두에서 SSL 인코더와 의료용 VLM을 모두 능가합니다.