wow.. computer vision just got collapsed into one model

@SenseTime_AI가 SenseNova-Vision을 오픈 소스로 공개했습니다. 아이디어는 간단합니다. 하나의 작업을 수행하기 위해 다섯 개의 전문 모델을 이어 붙이는 것을 멈추는 것입니다.

탐지(detection), 세그멘테이션(segmentation), 깊이(depth), 표면 법선(surface normals), OCR, 키포인트(keypoints), 3D 재구성(3D reconstruction). 단 하나의 가중치(weights) 세트만 있으면, 모든 작업은 동일한 모델에 대한 텍스트 지시어(text instruction)가 됩니다.

거실 사진을 던져주고 전경 분할(panoptic segmentation)을 요청해 보았습니다:

이 모델은 겹쳐진 잎사귀 벽 사이에서 10개의 별개 화분을 찾아냈습니다. 나무 바닥과 그 위의 카펫을 구분해냈습니다. 저조차 거의 알아채지 못했던 커피 테이블 위의 컵 두 개를 찾아냈습니다.

또한 소파 쿠션을 "책(book)"이라고 라벨링하기도 했으니 마법은 아닙니다. 하지만 마스크(masks)는 깔끔하며 추론(reasoning)도 대부분 제대로 이루어집니다.

프롬프트(prompt)는 카테고리 목록이 명시되고 출력 형식이 지정된 구조화된 형태입니다. 따라서 "원하는 것은 무엇이든 입력하세요"라기보다는 "모든 작업을 위한 하나의 텍스트 인터페이스"에 가깝습니다.

그럼에도 이것은 여전히 거대한 변화입니다. 이전에는 이러한 작업 하나하나가 각자의 모델, 각자의 학습 레시피(training recipe), 각자의 출력 형식을 가지고 있었습니다. 이제는 동일한 모델이 지시어를 읽고 작업이 필요로 하는 어떤 형태로든 답변합니다.

그 밑바탕에 깔린 더 큰 아이디어는 이것입니다: 비전(vision)이 단순히 덧붙이는 전문 도구가 아니라, 파운데이션 모델(foundation model)이 네이티브하게 수행하는 무언가가 되는 것입니다. 수십 년간의 시각적 지식이 모델이 이해하는 방식에 기여하고, 모델의 추론이 모델이 보는 대상에 다시 반영됩니다.

그들은 Vision Banana를 통해 벤치마크를 수행했는데, 특히 깊이(depth) 수치가 인상적이었습니다: NYUv2에서 94.8 대비 98.1을 기록했습니다. 이는 픽셀당 거리(distance-per-pixel)를 거의 항상 정확하게 맞추고 있다는 뜻이며, 이는 후속 작업(downstream)이 출력을 신뢰하기 위한 기준이 됩니다.

7B 파라미터(params). Apache 2.0 라이선스. 가중치(weights), 코드, 50M 규모의 학습 데이터셋, 논문, 그리고 라이브 데모까지 모두 공개되어 있습니다.

비전 관련 작업을 하신다면, 이 모델에 찬사를 보내주세요: https://t.co/FwQ9mApRZT

모델 → https://t.co/GSBKZIvsVt
논문 → https://t.co/EWlVsnGIoP