Falcon Perception: 단일 트랜스포머로 개방형 시각 인식 구현

요약

Falcon Perception은 0.6B 파라미터 크기의 초기 융합(early-fusion) 트랜스포머 모델입니다. 이 모델은 자연어 프롬프트로부터 이미지 패치와 텍스트를 하나의 시퀀스로 처리하여 개방형 어휘 기반의 객체 인식 및 분할을 수행합니다. 기존 모듈식 파이프라인 방식의 한계를 극복하기 위해, Falcon Perception은 단일 트랜스포머 백본(backbone)을 사용하여 이미지 패치와 텍스트를 처음부터 공유 공간에서 처리합니다. 특히 하이브리드 어텐션 마스크를 적용하여 시각적 전역 문맥과 순차적인 예측 기능을 동시에

핵심 포인트

• Falcon Perception은 단일 트랜스포머 구조로 이미지와 텍스트 처리를 통합하여 복잡한 개방형 인식 문제를 해결합니다.
• 하이브리드 어텐션 마스크를 통해 시각적 양방향 문맥과 순차적인 언어 예측을 동시에 지원하는 것이 핵심 기술입니다.
• 객체 속성(좌표, 크기, 분할)을 <coord> → <size> → <seg>의 3단계 구조로 예측하여 모호성을 줄이고 정확도를 높였습니다.
• PBench라는 진단 벤치마크를 도입하여 모델 성능을 단순 점수가 아닌, 능력별(속성, 공간 이해 등) 세부 역량으로 분석할 수 있게 했습니다.