Falcon Perception: 단일 트랜스포머로 개방형 시각 인식 구현
요약
Falcon Perception은 0.6B 파라미터 크기의 초기 융합(early-fusion) 트랜스포머 모델입니다. 이 모델은 자연어 프롬프트로부터 이미지 패치와 텍스트를 하나의 시퀀스로 처리하여 개방형 어휘 기반의 객체 인식 및 분할을 수행합니다. 기존 모듈식 파이프라인 방식의 한계를 극복하기 위해, Falcon Perception은 단일 트랜스포머 백본(backbone)을 사용하여 이미지 패치와 텍스트를 처음부터 공유 공간에서 처리합니다. 특히 하이브리드 어텐션 마스크를 적용하여 시각적 전역 문맥과 순차적인 예측 기능을 동시에
핵심 포인트
- Falcon Perception은 단일 트랜스포머 구조로 이미지와 텍스트 처리를 통합하여 복잡한 개방형 인식 문제를 해결합니다.
- 하이브리드 어텐션 마스크를 통해 시각적 양방향 문맥과 순차적인 언어 예측을 동시에 지원하는 것이 핵심 기술입니다.
- 객체 속성(좌표, 크기, 분할)을 <coord> → <size> → <seg>의 3단계 구조로 예측하여 모호성을 줄이고 정확도를 높였습니다.
- PBench라는 진단 벤치마크를 도입하여 모델 성능을 단순 점수가 아닌, 능력별(속성, 공간 이해 등) 세부 역량으로 분석할 수 있게 했습니다.
🖼️ Falcon Perception: 단일 트랜스포머로 시각 인식의 경계를 허물다
기존의 개방형 어휘 기반(open-vocabulary) 시각 인식 시스템들은 보통 '비전 백본' → '융합/디코더' → '후처리'와 같은 여러 모듈식 파이프라인으로 구성되어 왔습니다. 이 방식은 구현이 복잡하고, 성능 향상 요인을 특정하기 어려우며, 새로운 오류 유형에 대응할 때마다 시스템의 복잡도가 누적되는 단점이 있었습니다.
Falcon Perception은 이러한 한계를 극복하고자 '단일 트랜스포머 백본(single Transformer backbone)'만으로 시각 인식과 언어 모델링을 동시에 처리하는 방식을 제안합니다. 이 0.6B 파라미터 모델은 이미지 패치와 텍스트를 하나의 통합된 시퀀스로 처리하며, 하이브리드 어텐션 마스크를 통해 양방향(bidirectional) 비전 문맥과 순차적(autoregressive) 언어 예측 기능을 동시에 구현합니다.
✨ 핵심 설계 원칙: 초기 융합 (Early Fusion)
모델은 이미지 패치와 텍스트 토큰을 첫 레이어부터 공유 파라미터 공간에서 처리하는 '초기 융합' 방식을 채택했습니다. 객체 속성 예측은 <coord> → <size> → <seg>의 순서로 진행됩니다. 이 구조는 단순히 좌표를 먼저 예측하여 어떤 객체를 지칭하는지 명확히 하고, 이후 크기와 분할 마스크를 예측하며 모호성을 줄이는 데 목적이 있습니다.
🔬 진단 벤치마크 PBench 도입
기존의 평가 벤치마크는 모델이 실패한 원인(텍스트 이해 부족인지, 공간 관계 파악 실패인지 등)을 명확히 구분하지 못하는 한계가 있었습니다. 이에 연구진은 PBench라는 진단 벤치마크를 개발했습니다. PBench는 샘플을 '속성', 'OCR 기반 식별', '공간적 이해', '관계/상호작용' 등 필요한 핵심 역량에 따라 분류하여, 모델의 성능 프로파일을 입체적으로 분석할 수 있게 합니다.
Falcon Perception은 SA-Co 벤치마크에서 SAM 3보다 높은 Macro-F1 점수(68.0점 vs. 62.3점)를 달성하며 뛰어난 성능을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Hugging Face Blog의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기