며칠 전, SenseTime(商汤)은 이해와 생성이 통합된 비전 거대 모델(Vision Large Model)인 SenseNova-Vision을 공식적으로 오픈소스로 공개했습니다.

기존 업계의 통합 비전(Unified Vision) 방식은 대개 여러 개의 전문가 모델(Expert Models)을 패키징하여 캡슐화한 형태였으며, 본질적으로는 각 모델이 각자의 역할만을 수행했습니다.

이번에 SenseTime은 비전을 거대 모델의 네이티브 능력(Native Capability)으로 만들어, 객체 탐지(Object Detection), 이미지 분할(Image Segmentation), 깊이 예측(Depth Prediction), 3D 재구성(3D Reconstruction) 등 다양한 비전 태스크를 수행할 수 있도록 했습니다.

여러 권위 있는 평가에서 각 분야의 전용 전문가 모델들과 어깨를 나란히 했으며, 대다수의 지표에서 Google의 Vision Banana를 능가했습니다.

• 모델 가중치(Weights) 다운로드: https://t.co/Kis4rLcsXr
• GitHub: https://t.co/zBzYSzxekq
• ModelScope(魔搭社区): https://t.co/l7NNm743aZ

모델과 함께 오픈소스로 공개된 것은 5,000만 개의 고품질 샘플을 포함한 비전 지시어 코퍼스(Vision Instruction Corpus)입니다.

앞으로는 서로 다른 비전 태스크를 위해 여러 개의 모델을 유지 관리할 필요 없이, 단일 모델만으로 빈도가 높은 비전 요구사항을 모두 충족할 수 있어 연구 개발 및 배포 비용을 크게 낮출 수 있습니다.