Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Hugging Face Blog 100건필터 해제
Smol2Operator: 컴퓨터 사용을 위한 훈련 후 GUI 에이전트
본 기술 기사는 GUI 자동화를 위한 비전-언어 모델(VLM) 훈련의 종합적인 접근 방식을 제시합니다. 연구진은 작은 VLM인 SmolVLM2-2.2B-Instruct를 기반으로, 멀티 페이즈 훈련 전략을 통해 모델에 먼저 GUI 그라운딩 능력을 부여하고 이후 에이전틱 추론 능력을 향상시키는 두 단계의 과정을 거칩니다. 이 과정에서 다양한 데이터셋의 행동 표현 표준화 및 통합을 위한 포괄적인 데이터 변환 파이프라인을 구축하는 것이 핵심입니다.
RTEB 소개: 검색 평가의 새로운 표준
본 기술 기사는 실시간 세계 응용 프로그램에서 임베딩 모델의 검색 정확도를 평가하기 위한 새로운 표준 벤치마크인 RTEB(Retrieval Embedding Benchmark)를 소개합니다. 기존 벤치마크는 데이터셋 간 일반화 능력 측정에 어려움이 있고, 학습 데이터와 테스트 데이터가 겹치는 '과적합' 문제를 안고 있습니다. RTEB는 오픈 및 프라이빗 데이터셋을 결합한 하이브리드 전략을 사용하여 모델이 이전에 보지 못한 실제 세계 시나리오에서 얼마나 잘 일반화되는지를 공정하고 투명하게 측정하는 것을 목표로 합니다.
BigCodeArena: 코드 생성 모델 평가의 새로운 기준
BigCodeArena는 코드 생성 모델을 평가하기 위해 코드를 실제로 실행하고 결과를 확인할 수 있는 혁신적인 인간-루프(human-in-the-loop) 플랫폼입니다. 기존 벤치마크가 정적 비교에 그쳤던 한계를 넘어, 실제 웹 애플리케이션 구축부터 게임 개발까지 다양한 시나리오에서 모델의 실질적인 성능을 평가할 수 있게 합니다. 이 플랫폼은 격리된 샌드박스 환경에서 코드를 실행하고 사용자 투표를 통해 최고 등급의 모델을 식별하며, 다중 턴 상호작용을 지원하여 실제 프로그래밍 작업에 근접한 평가 경험을 제공합니다.
인텔 CPU 에서 VLM 실행하기: 3 단계로 시작
본 문서는 고사양 GPU 없이도 인텔 CPU 환경에서 VLM(Vision-Language Model)을 로컬로 실행하는 3단계 과정을 안내합니다. 핵심은 Optimum Intel 및 OpenVINO와 같은 도구를 사용하여 모델을 최적화하고 배포하는 것입니다. 첫 단계는 모델을 OpenVINO IR 형식으로 변환하는 것이며, 다음 단계는 메모리 사용량을 줄이고 추론 속도를 높이기 위해 양자화(Quantization)를 적용하는 것입니다. 특히 가중치만 양자화와 정적 양자화를 비교하며, 각 방법의 장단점과 구현 방법을 제시합니다.
Core ML 와 dots.ocr 를 활용한 최첨단 OCR
본 기사는 최첨단 OCR 모델인 dots.ocr를 Apple 기기에서 구동하기 위해 Core ML과 MLX 프레임워크를 결합하여 변환하는 과정을 상세히 다룹니다. 온디바이스(on-device) 실행은 API 키 노출 위험이 없고 비용이 들지 않으며 네트워크 연결이 필요 없다는 큰 장점이 있지만, 제한된 컴퓨팅 자원 관리가 필수적입니다. 특히 Neural Engine의 높은 전력 효율성을 활용하기 위해서는 Core ML을 거쳐야 하며, 이 과정에서 PyTorch 모델 그래프를 캡처하고 컴파일하는 복잡한 변환 과정을 거치게 됩니다.
오픈 모델로 OCR 파이프라인 성능 극대화
비전-언어 모델(VLMs)의 발전으로 OCR 기술은 단순한 텍스트 변환을 넘어 문서 검색, 질문 답변 등 복잡한 영역으로 확장되었습니다. 최신 OCR 모델들은 손글씨, 다양한 스크립트, 수학 공식뿐만 아니라 표와 차트 같은 시각적 요소를 인식하고 이를 DocTags, HTML, Markdown 등의 구조화된 기계가 읽을 수 있는 형식으로 변환합니다. 사용 목적(디지털 재구성, LLM 입력/Q&A, 프로그램적 사용)에 따라 적절한 출력 형식을 가진 모델을 선택하는 것이 중요합니다.
Granite 4.0 Nano: 얼마나 작게 줄일 수 있는가?
IBM이 엣지 및 온디바이스 애플리케이션을 겨냥하여 가장 작은 모델인 Granite 4.0 Nano를 출시했습니다. 이 모델들은 개선된 훈련 방법론과 15조 토큰 이상의 데이터로 훈련되었으며, vLLM, llama.cpp 등 주요 런타임에서 네이티브 지원을 제공합니다. 특히 하이브리드-SSM 기반 아키텍처와 전통적인 트랜스포머 버전을 모두 제공하며, 최소한의 파라미터 크기에서도 높은 성능과 신뢰성을 입증했습니다.
Transformers.js 를 Chrome 확장 프로그램에서 사용하는 방법
이 가이드는 Manifest V3 제약 조건 하에서 Chrome 확장 프로그램에 로컬 AI 기능을 구현하는 아키텍처를 설명합니다. 핵심은 무거운 모델 추론(Transformers.js)을 백그라운드 서비스 워커에 배치하고, 사용자 인터페이스와 페이지 상호작용을 사이드 패널 및 콘텐츠 스크립트로 분리하는 것입니다. 이 구조는 단일 조정자 패턴을 통해 메시징을 관리하며, 중복 로딩 방지 및 보안 경계 준수를 보장합니다.
Palmyra-mini 가족 소개: 강력하고 경량화되어 있으며 추론 준비 완료!
WRITER 팀은 강력하고 경량화된 세 가지 오픈 소스 모델인 Palmyra-mini 가족을 출시했습니다. 이 모델들은 1.5B~1.7B의 작은 크기에도 불구하고 높은 성능을 자랑하며, 특히 복잡한 추론 능력을 강화한 전용 변형(thinking-a, thinking-b)이 포함되어 있습니다. 개발자들은 GGUF 및 MLX 양자화 버전을 제공받아 다양한 환경에서 효율적인 추론에 활용할 수 있으며, 이 모델들은 vLLM 등 주요 추론 프레임워크와 호환됩니다.
AnyLanguageModel: 애플 플랫폼에서 로컬/원격 LLM을 위한 통합 Swift API
애플 개발자들이 AI 앱을 만들 때 직면하는 핵심 문제는 모델 통합의 복잡성과 높은 실험 비용입니다. AnyLanguageModel은 이러한 문제를 해결하기 위해 출시된 Swift 패키지입니다. 이 라이브러리는 Apple Foundation Models 프레임워크를 대체할 수 있는 드롭인(drop-in) 방식으로, 단일 API로 로컬 및 원격 LLM을 모두 지원합니다. Core ML, MLX, llama.cpp는 물론 OpenAI, Anthropic 등 클라우드 제공업체까지 통합하여 개발자가 모델 전환에 따른 코드 변경 없이 쉽게
오픈 ASR 리더보드 분석: 다국어 및 장문 전사 트렌드와 인사이트
최근 업데이트된 Open ASR Leaderboard는 기존의 짧은 영어 중심 평가를 넘어, 다국어 성능과 모델 처리량(throughput)을 핵심 지표로 포함하고 있습니다. 현재까지 최고의 정확도는 Conformer 인코더와 LLM 디코더 조합에서 나타나며, NVIDIA Canary-Qwen-2.5B 등이 낮은 WER을 기록했습니다. 반면, 실시간 처리가 중요한 장문 오디오에서는 CTC/TDT 디코더를 사용하는 모델들이 압도적인 처리 속도를 보여줍니다. Whisper Large v3는 강력한 다국어 기준점이지만, 특정 언어에 특화
RapidFire AI로 LLM 파인튜닝 속도를 20배 향상하는 방법
LLM(거대 언어 모델)의 성능 최적화를 위해 여러 하이퍼파라미터 조합을 비교 테스트(A/B Testing)해야 하지만, 기존 방식은 시간이 오래 걸리고 GPU 자원 활용률이 낮습니다. RapidFire AI는 이러한 문제를 해결하기 위해 도입된 도구로, 데이터셋을 '청크(chunk)' 단위로 분할하고 여러 실험 구성을 동시에 실행하는 적응형 병렬 처리 방식을 사용합니다. 이를 통해 단일 GPU 환경에서도 최대 20배에 달하는 실험 처리량 향상(throughput)을 보여주며, 실시간 대시보드와 인터랙티브 제어 기능(IC Ops)을
Hugging Face에 OVHcloud가 공식 추론 제공자로 합류: 유럽 기반 AI 모델 배포 가속화
OVHcloud가 Hugging Face Hub의 공식 Inference Provider로 지원되면서, 개발자들이 더욱 다양한 오픈 웨이트(open-weight) 모델을 통합적으로 활용할 수 있게 되었습니다. 이 서비스는 유럽 데이터 센터에 위치하며 데이터 주권과 낮은 지연 시간을 보장합니다. 특히 €0.04/백만 토큰부터 시작하는 경쟁력 있는 가격 정책과, sub-200ms의 빠른 첫 토큰 응답 속도를 자랑하여 프로덕션 환경에 최적화되어 있습니다. JS 및 Python 클라이언트 SDK를 통해 간편하게 접근 가능하며, 사용자별 선
최첨단 심층 리서치 에이전트 구축 방법론: 컨텍스트 최적화와 자율성 확보
본 글은 장기적인 깊이 있는 연구(Deep Research) 작업을 수행하는 AI 에이전트를 설계하고 구현한 경험을 공유합니다. 핵심은 단순히 복잡한 아키텍처를 만드는 것이 아니라, 모델의 진화 방향과 사용 사례에 맞춰 시스템을 재설계하는 '엔지니어링 마인드셋'에 있습니다. 특히 컨텍스트 관리(Context Management) 측면에서 기존 ReAct 기반 에이전트가 발생하는 토큰 폭증 문제를 해결하기 위해, 인간의 연구 과정처럼 정보를 '정제된 성찰(Reflections)'로 축적하고 최종 결과물 작성 시에만 원본 데이터를 활용
지속적 배치 처리(Continuous Batching) 원리 이해하기
LLM의 추론 과정은 본질적으로 다음 토큰을 예측하는 작업입니다. 이 과정에서 발생하는 계산 비용을 최적화하기 위해 '지속적 배치 처리(Continuous Batching)' 기법이 사용됩니다. 이는 여러 대화를 병렬로 처리하고, 완료된 세션을 즉시 다른 세션으로 교체하여 GPU 활용률을 극대화합니다. 본 글은 어텐션 메커니즘(Attention Mechanism)의 기본 원리부터 시작하여, 다양한 길이의 시퀀스를 동시에 처리하는 방법을 수학적으로 유도하며 이 기술의 효율성을 설명합니다.
FLUX-2 공개: 차세대 이미지 생성 및 편집 모델의 기술적 진화
FLUX-2는 기존 FLUX.1을 대체하는 것이 아닌, 새로운 이미지 생성 및 편집 모델입니다. 이 모델은 단일 텍스트 인코더(Mistral Small 3.1)를 사용하며, 다중 이미지를 참조 입력으로 받아 최종 결과물을 생성할 수 있습니다. 기술적으로는 Double-stream과 Single-stream 블록의 비율을 조정하고, Bias 파라미터 제거 및 SwiGLU 활성화 함수 적용 등 여러 최적화가 이루어졌습니다. 특히 4비트 양자화(Quantization) 지원 등을 통해 VRAM 제약이 있는 환경에서도 구동 가능성을 높인
Transformers v5: AI 생태계를 이끄는 모델 정의의 진화
Hugging Face Transformers 라이브러리가 v5를 출시하며, 단순성(Simplicity), 훈련(Training), 추론(Inference), 프로덕션 환경 지원을 대폭 강화했습니다. 현재 일일 설치 횟수가 300만 회 이상으로 폭증했으며, 모델 아키텍처는 40개에서 400개 이상으로 확장되었습니다. 이번 업데이트의 핵심은 모듈화된 디자인과 PyTorch 중심의 통일성을 확보하여, 개발자들이 어떤 백엔드 환경에서도 일관되고 효율적으로 최신 LLM을 다룰 수 있도록 기반을 마련한 것입니다.
Claude가 오픈소스 LLM 미세 조정하는 방법: Hugging Face Skills 활용 가이드
Hugging Face Skills는 AI 에이전트(예: Claude Code)가 단순한 스크립트 작성을 넘어 실제 클라우드 GPU 작업 제출, 진행 상황 모니터링, 최종 모델 배포까지 전 과정을 자동화할 수 있게 합니다. 이 툴킷을 사용하면 'Qwen3-0.6B를 특정 데이터셋에 미세 조정하라'는 자연어 명령만으로 적절한 하드웨어 선택(t4-small), 학습 스크립트 업데이트, Hugging Face Jobs 제출 및 실시간 모니터링까지 완료할 수 있습니다. 이는 SFT, DPO, RL 등 프로덕션 환경에서 사용되는 모든 고급
Hugging Face Hub의 Storage Buckets: ML 아티팩트 관리를 위한 혁신적 저장소
Storage Buckets는 S3와 유사한 뮤터블(mutable) 객체 스토리지를 제공하며, 특히 머신러닝 (ML) 아티팩트 관리에 최적화되었습니다. 기존의 Git 기반 버전 관리 시스템이 체크포인트나 데이터 파이프라인처럼 지속적으로 변화하는 콘텐츠를 다루기에는 부적합하다는 문제점을 해결합니다. Xet이라는 청크 기반 백엔드를 활용하여 중복된 데이터를 효율적으로 처리하고, 전송 속도와 비용을 절감하며, 재현 가능한 대규모 ML 워크로드를 구축할 수 있게 합니다.
딥러닝 기반 수학 추론 에이전트 DeepMath 개발 및 성능 분석
본 글은 LLM의 한계인 복잡한 수학 문제 해결 과정의 비효율성과 오류 가능성을 개선하기 위해 'DeepMath'라는 경량화된 수학 추론 에이전트를 소개합니다. DeepMath는 Qwen3-4B Thinking 모델을 기반으로 하며, Python 코드를 안전하게 실행할 수 있는 샌드박스 환경과 smolagents 라이브러리를 결합했습니다. 특히 GRPO (Group Relative Policy Optimization)라는 보상 기반 최적화 기법을 통해 모델이 장황한 설명 대신 간결하고 계산 중심적인 코드 스니펫을 선호하도록 학습시켰
이 피드 구독하기
본 페이지의 콘텐츠는 AI가 공개된 소스를 기반으로 자동 수집·요약·번역한 것입니다. 원 저작권은 각 원저작자에게 있으며, 각 게시물의 “원문 바로가기” 링크를 통해 원문을 확인할 수 있습니다. 저작권자의 삭제 요청이 있을 경우 신속히 조치합니다.