Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
HuggingFaceAI 번역헤드라인
인텔 CPU 에서 VLM 실행하기: 3 단계로 시작
본 문서는 고사양 GPU 없이도 인텔 CPU 환경에서 VLM(Vision-Language Model)을 로컬로 실행하는 3단계 과정을 안내합니다. 핵심은 Optimum Intel 및 OpenVINO와 같은 도구를 사용하여 모델을 최적화하고 배포하는 것입니다. 첫 단계는 모델을 OpenVINO IR 형식으로 변환하는 것이며, 다음 단계는 메모리 사용량을 줄이고 추론 속도를 높이기 위해 양자화(Quantization)를 적용하는 것입니다. 특히 가중치만 양자화와 정적 양자화를 비교하며, 각 방법의 장단점과 구현 방법을 제시합니다.
5월 4일8
HuggingFaceAI 번역헤드라인
Core ML 와 dots.ocr 를 활용한 최첨단 OCR
본 기사는 최첨단 OCR 모델인 dots.ocr를 Apple 기기에서 구동하기 위해 Core ML과 MLX 프레임워크를 결합하여 변환하는 과정을 상세히 다룹니다. 온디바이스(on-device) 실행은 API 키 노출 위험이 없고 비용이 들지 않으며 네트워크 연결이 필요 없다는 큰 장점이 있지만, 제한된 컴퓨팅 자원 관리가 필수적입니다. 특히 Neural Engine의 높은 전력 효율성을 활용하기 위해서는 Core ML을 거쳐야 하며, 이 과정에서 PyTorch 모델 그래프를 캡처하고 컴파일하는 복잡한 변환 과정을 거치게 됩니다.
5월 4일7
HuggingFaceAI 번역헤드라인
Granite 4.0 Nano: 얼마나 작게 줄일 수 있는가?
IBM이 엣지 및 온디바이스 애플리케이션을 겨냥하여 가장 작은 모델인 Granite 4.0 Nano를 출시했습니다. 이 모델들은 개선된 훈련 방법론과 15조 토큰 이상의 데이터로 훈련되었으며, vLLM, llama.cpp 등 주요 런타임에서 네이티브 지원을 제공합니다. 특히 하이브리드-SSM 기반 아키텍처와 전통적인 트랜스포머 버전을 모두 제공하며, 최소한의 파라미터 크기에서도 높은 성능과 신뢰성을 입증했습니다.
5월 4일8
HuggingFaceAI 번역헤드라인
Transformers.js 를 Chrome 확장 프로그램에서 사용하는 방법
이 가이드는 Manifest V3 제약 조건 하에서 Chrome 확장 프로그램에 로컬 AI 기능을 구현하는 아키텍처를 설명합니다. 핵심은 무거운 모델 추론(Transformers.js)을 백그라운드 서비스 워커에 배치하고, 사용자 인터페이스와 페이지 상호작용을 사이드 패널 및 콘텐츠 스크립트로 분리하는 것입니다. 이 구조는 단일 조정자 패턴을 통해 메시징을 관리하며, 중복 로딩 방지 및 보안 경계 준수를 보장합니다.
5월 4일4