문서 이해 특화 모델: Granite 4.0 3B Vision 소개

📄 Granite 4.0 3B Vision: 엔터프라이즈 문서 분석 혁신

IBM이 공개한 Granite 4.0 3B Vision은 복잡하고 다양한 기업 문서를 이해하는 데 특화된 소형 멀티모달(Multimodal) 모델입니다. 이 모델은 단순히 이미지를 설명하는 것을 넘어, 구조적이고 의미적인 정보 추출에 초점을 맞췄습니다.

주요 기능 및 강점:

• 테이블 추출 (Table Extraction): 다중 행/다중 열 등 복잡한 테이블 구조를 정확하게 파싱합니다.
• 차트 이해 (Chart Understanding): 차트와 그래프를 기계가 읽을 수 있는 형식(구조화된 데이터, 요약문, 코드)으로 변환할 수 있습니다.
• 시맨틱 KVP 추출: 다양한 레이아웃의 문서에서 의미론적으로 중요한 키-값 쌍(Key-Value Pair)을 식별하고 추출합니다.

기술적 우위성:
이 모델은 세 가지 핵심 투자 덕분에 높은 성능을 자랑합니다. 첫째, 24개 차트 유형을 아우르는 독자적인 데이터셋 ChartNet을 구축했습니다. 이 데이터셋은 플로팅 코드, 이미지, 데이터 테이블, 자연어 요약, QA 쌍 등 다섯 가지 요소가 정렬된 방식으로 구성되어 모델에게 깊이 있는 다중 모드(Cross-modal) 이해를 제공합니다.
둘째, 시각적 특징과 언어 처리를 분리하는 DeepStack Injection 아키텍처를 사용했습니다. 이를 통해 추상적인 시각적 특징은 초기 레이어에서 의미론적 이해에 활용하고, 고해상도 공간적 특징은 후기 레이어에서 디테일을 보존하여 '무엇이 어디에 있는지'를 동시에 파악할 수 있습니다.

실용성과 통합성:
Granite 4.0 3B Vision은 독립 모델이 아닌 Granite 4.0 Micro 위에 LoRA 어댑터 형태로 패키징됩니다. 이는 배포 시 멀티모달 기능과 텍스트 전용 워크로드를 동일한 시스템에서 처리할 수 있게 하여, 기업 환경에서의 통합을 매우 간편하게 만듭니다.

실제 평가에서도 이 모델은 업계 최고 수준의 성능을 입증했습니다. 차트 요약(Chart2Summary)에서는 가장 높은 점수를 기록했으며, 테이블 추출 및 KVP 파싱 등 모든 벤치마크에서 강력한 성능을 보여주었습니다.