UniReason-Med: 의료 VQA의 2D-to-3D 전이를 위한 공유된 접지된 추론 인터페이스 (Shared Grounded

우리는 풍부한 2D 의료 이미지로부터 얻은 접지된 추론 (grounded reasoning) 감독이 두 입력 유형이 공통된 추론 인터페이스를 통해 정렬될 때 3D 의료 VQA (Visual Question Answering)를 개선할 수 있는지 연구합니다. 우리는 추론 시 2D 이미지 또는 슬라이스 직렬화된 (slice-serialized) 3D 볼륨을 처리하며, 공유된 박스 구문 (box syntax), 영역 토큰 주입 (region-token injection), 그리고 공통된 접지된 추론 정책 (common grounded reasoning policy)을 통해 텍스트 추론과 국소화된 시각적 증거 (localized visual evidence)가 교차되어 나타나도록 생성하는 단일 체크포인트 프레임워크인 UniReason-Med를 소개합니다. 이 인터페이스를 학습시키기 위해, 우리는 170K의 2D 샘플과 50K의 3D 샘플을 포함하여 텍스트 추론과 접지된 시각적 증거가 교차된 220K 규모의 지시어 튜닝 (instruction-tuning) 데이터셋인 UniMed-CoT를 구축합니다. 지도 미세 조정 (supervised fine-tuning)에 이은 결과 수준 강화학습 (outcome-level reinforcement learning)을 통해, UniReason-Med는 RL 과정 중 IoU/Dice 기반의 국소화 보상 (localization rewards) 없이도 접지된 추론 흔적 (grounded reasoning traces)을 생성하는 법을 학습합니다. 데이터 혼합 및 구성 요소 절제 연구 (ablations) 결과, 2D+3D 공동 접지 감독은 3D 전용 학습에 비해 3D 추론을 실질적으로 개선하는 반면, 접지 (grounding) 및 영역 토큰 주입은 2D와 3D 작업 모두에 일관된 이점을 제공함을 보여줍니다. 이러한 결과는 공유된 접지된 추론 인터페이스가 2D 이미지로부터의 추론 구조를 슬라이스 직렬화된 볼륨 의료 이해 (volumetric medical understanding)로 전이할 수 있음을 시사합니다. 코드와 데이터는 https://github.com/IQuestLab/unireason-med 에서 공개적으로 사용할 수 있습니다.