Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
HuggingFace중요헤드라인
문서 이해 특화 모델: Granite 4.0 3B Vision 소개
IBM의 Granite 4.0 3B Vision은 기업 문서 처리에 최적화된 소형 멀티모달 모델입니다. 이 모델은 복잡한 테이블 구조 추출, 차트 이해 및 시맨틱 키-값 쌍(KVP) 추출 등 전문적인 문서 분석 작업을 수행할 수 있습니다. 특히, ChartNet이라는 자체 개발 데이터셋과 DeepStack Injection 아키텍처를 통해 시각적 패턴, 숫자 데이터, 자연어 추론을 결합하여 높은 정확도를 달성했습니다. 또한 LoRA 어댑터 형태로 제공되어 텍스트 전용 워크로드와도 원활하게 통합할 수 있어 기업 환경에 매우 실용적이며
4월 23일9
HuggingFace헤드라인
Gradio Server로 커스텀 프론트엔드와 강력한 백엔드를 결합하는 방법
기존에는 Gradio 컴포넌트를 사용하거나, 완전히 별도의 웹 애플리케이션을 구축해야 했습니다. 하지만 새로운 `gradio.Server`를 통해 이 두 가지 제약을 모두 해결했습니다. `gradio.Server`는 FastAPI의 강력한 기능을 상속받아 커스텀 라우팅, 미들웨어, 파일 업로드 등 모든 백엔드 기능을 제공합니다. 여기에 Gradio 특유의 API 엔진(요청 큐잉, 동시성 관리, SSE 스트리밍)과 `gradio_client` 호환성을 결합했습니다. 이를 통해 사용자는 React나 Svelte 같은 원하는 프론트엔드를
4월 23일8
HuggingFace중요헤드라인
Falcon Perception: 단일 트랜스포머로 개방형 시각 인식 구현
Falcon Perception은 0.6B 파라미터 크기의 초기 융합(early-fusion) 트랜스포머 모델입니다. 이 모델은 자연어 프롬프트로부터 이미지 패치와 텍스트를 하나의 시퀀스로 처리하여 개방형 어휘 기반의 객체 인식 및 분할을 수행합니다. 기존 모듈식 파이프라인 방식의 한계를 극복하기 위해, Falcon Perception은 단일 트랜스포머 백본(backbone)을 사용하여 이미지 패치와 텍스트를 처음부터 공유 공간에서 처리합니다. 특히 하이브리드 어텐션 마스크를 적용하여 시각적 전역 문맥과 순차적인 예측 기능을 동시에
4월 23일8
HuggingFace헤드라인
온디바이스 AI의 새 기준, 개방형 멀티모달 모델 Gemma 4 출시
Gemma 4는 Apache 2 라이선스로 완전히 개방된 최첨단 멀티모달 인텔리전스 모델입니다. 오디오, 이미지, 텍스트 입력을 모두 지원하며, 온디바이스(on-device) 환경에서도 구동 가능하도록 설계되었습니다. 이 모델은 이전 Gemma 시리즈의 장점을 계승하면서도 변형 비율을 고려한 개선된 이미지 인코더와 효율적인 Per-Layer Embeddings (PLE), Shared KV Cache 같은 아키텍처 최적화를 적용했습니다. 2.3B부터 31B까지 다양한 크기로 제공되며, 특히 4B 활성 파라미터만으로 높은 성능을 내는
4월 23일9
HuggingFace중요헤드라인
Safetensors, PyTorch Foundation 합류로 생태계 표준화 가속
모델 가중치 공유 포맷인 Safetensors가 PyTorch Foundation에 공식적으로 합류했습니다. 이는 DeepSpeed, vLLM 등과 함께 Linux Foundation 산하에서 관리되며, 모델 안전성과 커뮤니티 거버넌스 측면에서 큰 의미를 갖습니다. Safetensors는 초기 Pickle 기반 포맷의 보안 위험성을 해결하기 위해 탄생했으며, JSON 헤더와 원시 텐서 데이터 구조로 단순화되었습니다. 이 덕분에 '제로-카피 로딩(Zero-copy loading)'과 '지연 로딩(Lazy loading)'이 가능해져
4월 23일6
HuggingFace헤드라인
멀티모달 임베딩 및 리랭커 모델 활용 가이드
Sentence Transformers 라이브러리가 v5.4 업데이트를 통해 텍스트 외에 이미지, 오디오, 비디오 등 다양한 모달리티(multimodality)를 지원합니다. 멀티모달 임베딩 모델은 서로 다른 형태의 데이터를 공통된 임베딩 공간으로 매핑하여, 텍스트 검색과 이미지 문서 비교 같은 크로스-모달 유사성 계산을 가능하게 합니다. 또한, 멀티모달 리랭커는 혼합 모달리티 쌍의 관련성을 점수화할 수 있어, 시각적 문서 검색이나 다중 모달 RAG 파이프라인 구축에 활용됩니다.
4월 23일8
HuggingFace중요헤드라인
Overworld가 차세대 실시간 비디오 월드 모델인 Waypoint-1
Overworld의 최신 실시간 비디오 월드 모델인 Waypoint-1.5가 공개되었습니다. 이 버전은 단순히 높은 시각적 충실도(visual fidelity)를 넘어, 사용자가 실제로 상호작용하며 탐험할 수 있는 '경험'에 초점을 맞췄습니다. Waypoint-1.5는 성능이 좋은 하드웨어(RTX 3090~5090 등)에서는 최대 720p/60 FPS로, 더 넓은 소비자급 장치(노트북, Apple Silicon Mac 등)를 위해 최적화된 360p 모델을 제공합니다. 특히 Waypoint-1 대비 100배에 달하는 데이터로 학습되었
4월 23일8
HuggingFace헤드라인
VAKRA: AI 에이전트의 복합적 문제 해결 능력 측정
VAKRA는 AI 에이전트가 실제 기업 환경과 유사한 복잡한 워크플로우를 얼마나 잘 수행하는지 평가하기 위해 개발된 실행 가능한 벤치마크입니다. 기존의 단일 스킬 테스트와 달리, VAKRA는 API 호출과 비정형 데이터 검색을 결합한 다단계 추론 능력을 측정합니다. 이 벤치마크는 62개 도메인에 걸쳐 8,000개 이상의 로컬 API를 활용하며, 에이전트가 복잡한 작업을 성공적으로 완료하는지 검증합니다. 논문에서는 VAKRA의 네 가지 주요 역량(API 체이닝, 대시보드 API 사용, 다단계 추론 등)을 분석하고, 모델들이 어떤 지점
4월 23일10
HuggingFace헤드라인
멀티모달 임베딩 모델, 직접 파인튜닝하기
본 글은 Python 라이브러리 Sentence Transformers를 사용하여 멀티모달(text, image 등) 임베딩 및 리랭커 모델을 직접 학습하거나 파인튜닝하는 방법을 안내합니다. 특히 시각 문서 검색(Visual Document Retrieval, VDR)과 같은 도메인 특화 작업에 모델을 최적화하는 것이 중요함을 강조합니다. Qwen/Qwen3-VL-Embedding-2B와 같은 기존 멀티모달 모델을 활용하여 파인튜닝한 결과, NDCG@10 성능이 0.947로 향상되어 기본 모델(0.888) 대비 높은 성능 개선을 보
4월 23일11