GRAC: 수술 장면 설명을 위한 그래프 기반 검색 증강 캡셔닝

요약

수술 장면의 의미 있는 설명을 자동화하기 위해 그래프 기반 검색 증강 캡셔닝 프레임워크인 GRAC을 제안합니다. 이 프레임워크는 기구, 행동, 해부학적 구조 간의 관계를 포착하는 그래프를 입력으로 받아 관련 예시와 비교 특징을 활용해 캡션을 생성합니다. EndoVis-18 및 TORS 벤치마크에서 기존 모델 대비 높은 성능 향상을 입증했습니다.

핵심 포인트

• GRAC은 수술 장면을 그래프로 표현하여 기구-행동-조직 관계를 포착합니다.
• 검색 증강(Retrieval-Augmented) 방식을 통해 맥락적이고 사실 일치성이 높은 설명을 생성합니다.
• EndoVis-18에서 CIDEr-D 점수 5.88을 달성하며 기존 최고 기준선 대비 우위를 보였습니다.
• 구조화된 수술 장면 표현과 검색 예시 결합이 캡셔닝 성능 개선에 효과적임을 입증했습니다.