Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
SegCompass는 Sparse Autoencoder(SAE)를 활용하여 LLM의 추론 과정과 시각적 인지를 투명하게 연결하는 엔드투엔드 모델입니다. CoT와 시각적 토큰을 공유된 희소 개념 공간으로 매핑하여 해석 가능한 정렬 경로를 구축합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG (Machine Learning)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델(Large Language Models, LLMs)은 강력한 구성적 추론(Compositional Reasoning) 능력을 제공하지만, 기존의 추론 세그멘테이션(Reasoning Segmentation) 파이프라인은 이러한 추론을 시각적 인지(Visual Perception)와 투명하게 연결하는 데 실패하고 있습니다. 잠재 쿼리 정렬(Latent Query Alignment)과 같은 현재의 방법들은 엔드투엔드(End-to-end) 방식이지만 불투명한 "블랙박스(Black boxes)"입니다. 반대로, 텍스트 기반 로컬라이제이션 리드아웃(Textual Localization Readout)은 단순히 읽을 수 있을 뿐 진정으로 해석 가능한 것은 아니며, 종종 제약 없는 사후 처리(Post-hoc) 단계로 기능합니다. 이러한 해석 가능성의 간극을 메우기 위해, 우리는 Sparse Autoencoder (SAE)를 활용하여 명시적이고 해석 가능하며 미분 가능한 정렬 경로를 구축하는 엔드투엔드 모델인 SegCompass를 제안합니다. 이미지-지시문 쌍이 주어지면, SegCompass는 먼저 사고의 사슬 (Chain-of-Thought, CoT) 추적을 생성합니다. 우리 방법의 핵심은 CoT와 시각적 토큰(Visual Tokens)을 모두 공유된 고차원 희소 개념 공간(Sparse Concept Space)으로 매핑하는 SAE입니다. 쿼리 코드북(Query Codebook)이 이 공간에서 두드러진 개념들을 선택하면, 슬롯 매퍼(Slot Mapper)가 이를 공간적으로 접지(Grounded)하여 최종 마스크 디코더(Mask Decoder)를 안내하는 멀티 슬롯 히트맵(Multi-slot Heatmap)으로 변환합니다. 전체 모델은 추론 경로를 위한 강화학습 (Reinforcement Learning, RL)과 표준 세그멘테이션 감독(Segmentation Supervision)을 통합하여 공동으로 학습됩니다. 이 SAE 기반 인터페이스는 잠재 쿼리보다 훨씬 더 추적 가능하고 텍스트 리드아웃보다 더 일관된 "화이트박스(White-box)" 연결을 제공합니다. 다섯 가지 도전적인 벤치마크에 대한 광범위한 실험을 통해 SegCompass가 최첨단(State-of-the-art) 성능에 필적하거나 이를 능가함을 입증했습니다. 결정적으로, 우리의 시각적 및 정량적 분석은 학습된 희소 개념의 품질과 최종 마스크 정확도 사이에 강력한 상관관계가 있음을 보여주며, 이는 SegCompass가 향상되고 검사 가능한 정렬을 통해 우수한 결과를 달성함을 확인시켜 줍니다. 코드는 https://github.com/ZhenyuLU-Heliodore/SegCompass 에서 확인할 수 있습니다.