의미론적 기반 정규화로서의 약지도 세그멘테이션 (Weakly Supervised Segmentation as Semantic-Based
요약
본 논문은 약지도 의미론적 세그멘테이션(WSSS)의 한계를 극복하기 위해 신경 기호적 관점(neurosymbolic perspective)을 도입합니다. 미분 가능한 퍼지 논리(differentiable fuzzy logic)를 딥 세그멘테이션 모델에 통합하여, 약한 주석과 도메인 특화 사전 지식을 연속적인 논리적 제약 조건으로 활용합니다. 이를 통해 SAM 같은 파운데이션 모델을 개선된 의사 라벨을 생성하는 프롬프트 프리(prompt-free) 세그멘테이션 모델로 미세 조정하며, 기존의 조밀한 지도 학습 베이스라인을 능가하는 높은 정확도를 달성했습니다.
핵심 포인트
- 약지도 의미론적 세그멘테이션은 거친 주석으로부터 픽셀 수준의 세그멘테이션을 수행한다.
- 기존 SAM 기반 접근 방식은 휴리스틱 프롬프트 선택에 의존하며 사전 지식 통합이 제한적이다.
- 본 연구는 미분 가능한 퍼지 논리를 도입하여 약한 주석과 도메인 특화 사전 지식을 연속적인 논리적 제약 조건으로 활용한다.
- 논리 가이드 미세 조정(logic-guided fine-tuning)을 통해 2단계 프롬프트 프리 세그멘테이션 모델을 학습시켰다.
- 실험 결과, 본 방법론은 Pascal VOC 2012 및 REFUGE2 데이터셋에서 조밀한 지도 학습 베이스라인보다 높은 성능을 보였다.
약지도 의미론적 세그멘테이션 (Weakly supervised semantic segmentation, WSSS)은 경계 상자 (bounding boxes), 스크리블 (scribbles), 또는 이미지 수준의 태그 (image-level tags)와 같은 부분적이거나 거친 주석 (annotations)으로부터 조밀한 픽셀 수준의 세그멘테이션 모델을 학습시킵니다. 최근 연구들은 Segment Anything Model (SAM)과 같은 파운데이션 모델 (foundation models)을 활용하여 의사 라벨 (pseudo-labels)을 생성하지만, 이러한 접근 방식은 일반적으로 휴리스틱한 프롬프트 (heuristic prompt) 선택에 의존하며 사전 지식 (prior knowledge)이나 이질적인 라벨 (heterogeneous labels)을 통합하는 방법이 제한적입니다. 우리는 신경 기호적 관점 (neurosymbolic perspective), 즉 미분 가능한 퍼지 논리 (differentiable fuzzy logic)를 딥 세그멘테이션 모델 (deep segmentation models)과 통합함으로써 이 격차를 해결합니다. 약한 주석 (weak annotations)과 도메인 특화 사전 지식 (domain-specific priors)은 약한 지도 학습 (weak supervision) 하에서 SAM을 미세 조정 (fine-tune)하는 연속적인 논리적 제약 조건 (continuous logical constraints)으로 통합됩니다. 정제된 파운데이션 모델은 개선된 의사 라벨을 생성하며, 이를 통해 우리는 2단계 프롬프트 프리 (prompt-free) 세그멘테이션 모델을 학습시킵니다. Pascal VOC 2012 및 REFUGE2 시신경 유두/컵 (optic disc/cup) 세그멘테이션 데이터셋에 대한 실험 결과, 우리의 논리 가이드 미세 조정 (logic-guided fine-tuning)이 더 높은 품질의 의사 라벨을 생성하여, 종종 조밀한 지도 학습 (densely supervised) 베이스라인을 능가하는 최첨단 (state-of-the-art) 세그멘테이션 정확도를 달성함을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기