Mirage: 장면 설명, 객체 탐지, OCR 등 여러 기능을 단일 패스로 처리하는 22MB 비주얼-언어 모델

안녕하세요. Cactus Compute의 Henry입니다. 저희가 휴대폰, 웨어러블 기기, 로봇 및 기타 소비자 장치용 소형 비전 모델인 Mirage를 출시했습니다. Mirage는 22MB 크기의 가중치 파일로 장면 설명(scene descriptions), 객체 탐지(object detection), OCR, 분할(segmentation), 공간 관계 분석(spatial relations), 추출(extractions) 및 의사 결정(decisions)을 수행합니다. Samsung Galaxy S26에서 측정한 저희의 종단 간 측정 결과는 NPU에서 74ms, CPU에서 107ms였습니다. 설명 기능은 영어, 독일어, 프랑스어, 스페인어, 이탈리아어, 네덜란드어 및 폴란드어를 지원합니다.

아키텍처 측면에서 Mirage는 이미지 인코더(image encoder) 7.8M, 언어 디코더(language decoder) 40.8M, OCR 및 공간 헤드에 2.6M을 포함하여 총 51.3M의 파라미터를 가집니다. 인코더는 고정된 Hadamard 변환과 작은 학습 가능한 컨볼루션(learned convolutions)을 통해 채널을 혼합하는 HConvGLU를 사용합니다. 탐지 및 마스크는 이미지 특징을 공유하며, 디코더는 Needle와 Whistle 뒤에 있는 Simple Attention 및 Hadamard MLP 계열을 사용합니다.

Cactus에서의 연구는 다소 특수하여 이러한 소형 모델들이 탄생했습니다. 저희의 목표는 지능을 가장 작고 실용적인 형태로 압축하여 일상 소비자 하드웨어에서 로컬로 구동하는 것입니다. Mirage를 통해 저희가 주장하는 바는, 연결 언어(connective language)와 설명을 결합하고 개방형 추론(open-ended reasoning)을 생성함으로써 작은 모델이 이미지 자체에 사용할 수 있는 용량을 확보할 수 있다는 것입니다. 저희는 공간 헤드(spatial heads), 전용 텍스트 리더(dedicated text reader), 그리고 이름과 영역을 연결하는 짧은 참조를 통해 문제에 구조를 부여했습니다. 디코더는 여전히 이름, 속성, 관계 및 간결한 추론 흔적(compact reasoning trace)을 생성합니다.

핵심 발견은 Mirage의 출력을 텍스트 전용 LLM에 전달하면 미세 조정 없이도 해당 LLM이 VLM(Visual-Language Model) 능력을 갖게 할 수 있다는 것입니다. 128개 이미지의 256개 VQAv2 질문을 대상으로 했을 때, Qwen3-0.6B는 질문만 사용했을 때는 100점 만점에 9.3점을 기록했지만, Mirage가 제공하는 구조화된 기록과 전체 추적(full trace)을 사용했을 때는 31.3점으로 향상되었습니다. 두 모델 모두 미세 조정되지 않았습니다. 또 다른 이미지의 기록은 22.2점을 받았으며, 이 추적 정보를 제거했을 때 33.1점이었습니다.

이미지별 관찰(image-specific observations)은 이 샘플에서 도움이 되었으며, 트레이스(trace)로부터 신뢰할 수 있는 이점은 발견하지 못했고, 구조화된 응답만으로 충분했습니다. 하지만 이것이 모든 모델에 적용되는 것은 아닙니다.

더 큰 텍스트 전용 모델들은 혼합된 결과를 보였습니다. 동일한 프롬프트와 Mirage 관찰을 사용했을 때, VQA 점수는 다음과 같았습니다.

이 테스트를 수행하려면 문자열 값의 answer를 가진 JSON 객체가 필요했으며, 해당 형식을 위반하는 응답은 점수를 받지 못했습니다. 기록 및 트레이스를 사용했을 때, Nemotron은 256개의 응답 중 214개에서 이 요구 사항을 충족하지 못했고, Qwen3-1.7B는 34개에서 실패했습니다. 따라서 점수는 답변의 정확성과 형식 준수를 혼합하여 측정합니다.

지각 실패(perception failures)도 있었습니다. 스케이트보드 사진 한 장에서, Mirage는 스케이트보드를 놓치고 자동차, 사람, 신발을 설명했습니다. Qwen은 질문만으로 a skateboard를 추측했고, 이후 Mirage의 기록 및 트레이스를 읽은 후 a car라고 답변했습니다. 더 큰 리더(reader) 역시 관련 관찰이 존재해야 합니다.

저희는 질문과 짧은 답변이 쌍을 이루는 Mirage 기록으로 리더를 미세 조정(fine-tuning)해 볼 것이며, 그 결과를 공유하겠습니다. 의견을 알려주십시오.

Mirage playground: https://cactuscompute.com/blog/mirage /u/Henrie_the_dreamer가 제출했습니다 [링크] [댓글]