컴퓨터 비전 분할 작업을 객체 수준에서 임의의 개념 수준으로 확장하여 추상적, 희귀 또는 오픈 도메인 개념 목표를 분할할 수 있도록 함
요약
ConceptSeg-R1은 컴퓨터 비전 분할 작업을 객체 수준에서 추상적 개념 수준으로 확장하는 연구입니다. 메타 강화학습을 통해 인스턴스, 범주, 관계 계층의 개념 분할을 수행하며, LLM의 추론 상태를 암시적 토큰으로 변환하여 SAM에 직접 입력합니다.
핵심 포인트
- 객체 중심 분할을 추상적 개념 분할로 확장
- 메타 강화학습을 활용한 범용 개념 분할 수행
- 인스턴스, 범주, 관계의 세 가지 계층 구조 지원
- LLM 추론 상태를 암시적 토큰으로 변환하여 SAM 활용
컴퓨터 비전 (Computer Vision) 분할 작업을 객체 (Object) 수준에서 임의의 개념 (Concept) 수준으로 확장하여, 모델이 추상적, 희귀 또는 오픈 도메인 (Open-domain) 개념 목표를 분할할 수 있도록 합니다.
ConceptSeg-R1은 메타 강화학습 (Meta-Reinforcement Learning)을 사용하여 범용 개념 분할을 수행하며, 시각적 분할을 '객체 분할'에서 '개념 분할'로 업그레이드합니다. 이는 인스턴스 수준 (Instance-level), 범주 수준 (Category-level), 관계 수준 (Relation-level)의 세 가지 계층으로 나뉩니다. 모델은 데모 (Demonstration)로부터 규칙을 학습한 뒤, 새로운 쿼리 (Query)에 대해 추론합니다. 핵심은 대규모 언어 모델 (LLM)의 추론 상태를 암시적 개념 토큰 (Implicit Concept Token)으로 변환하여, 분할 모듈을 재학습할 필요 없이 SAM 3에 직접 입력하는 것입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 X @qingq77 (자동 발견)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기