Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
HuggingFaceAI 번역헤드라인
OlmoEarth v1.1: 더 효율적인 모델 제품군
OlmoEarth v1.1은 기존 v1의 성능을 유지하면서도 연산 비용을 최대 3배까지 절감한 새로운 위성 이미지 분석 모델 제품군입니다. 트랜스포머 아키텍처의 효율성을 높이기 위해 모델 크기와 토큰 시퀀스 길이를 최적화하여, 대규모 원격 탐사 데이터 처리 시 발생하는 높은 비용 문제를 해결하고자 합니다.
5월 19일1
HuggingFaceAI 번역헤드라인
Granite Embedding Multilingual R2: 32K 컨텍스트를 지원하는 Open Apache 2.0 다국어 임베딩 — 최고의
Granite Embedding Multilingual R2는 32K 컨텍스트를 지원하는 두 가지 새로운 Apache 2.0 다국어 임베딩 모델을 출시했습니다. 이 모델들은 200개 이상의 언어를 지원하며, 특히 52개 주요 언어와 프로그래밍 코드에 대해 향상된 검색 품질을 제공합니다. 97M 파라미터의 컴팩트 모델과 311M 파라미터의 풀사이즈 모델이 제공되어, 성능과 효율성 사이에서 선택할 수 있습니다.
5월 14일4
HuggingFaceAI 번역헤드라인
Nemotron-Personas-Japan: ソブリン AI のための合成データセット
NVIDIA가 일본 문화적 특성과 인구 통계에 기반한 최초의 오픈 합성 데이터셋 'Nemotron-Personas-Japan'을 공개했습니다. 이 데이터셋은 개인 식별 정보(PII) 없이도 일본 사회를 반영하는 600만 건의 페르소나 데이터를 제공하며, 개발자들이 지역 특화 AI 모델을 구축할 수 있도록 지원합니다. 이는 주권 AI(Sovereign AI) 개발을 촉진하고, 언어 및 문화적 맥락에 맞는 고품질의 학습 데이터 접근성 문제를 해결하는 핵심 기반이 될 것입니다.
5월 8일5
HuggingFaceAI 번역헤드라인
Training and Finetuning Sparse Embedding Models with Sentence Transformers
본 기사는 희소 임베딩 모델(Sparse Embedding Models)을 파인튜닝하는 과정과 구성 요소를 심층적으로 다룹니다. 일반적인 밀집 임베딩 모델이 저차원 벡터를 생성하는 것과 달리, 희소 임베딩 모델은 대부분의 값이 0인 고차원 벡터를 생성하며, 이는 각 토큰에 대한 해석 가능성을 제공합니다. 특히 SPLADE와 같은 신경망 기반 희소 모델은 원본 텍스트를 의미적으로 관련된 용어로 자동으로 확장(query/document expansion)하는 능력이 뛰어나며, 이를 통해 검색 및 유사도 계산의 정확도를 높일 수 있습니다.
5월 8일12
HuggingFaceAI 번역헤드라인
Open-source DeepResearch – Freeing our search agents
본 기사는 OpenAI가 공개한 'DeepResearch' 시스템을 분석하고, 이를 오픈소스로 재현하려는 목표를 제시합니다. DeepResearch는 LLM과 에이전트 프레임워크를 결합하여 웹 검색 및 다단계 추론 능력을 극대화하며, 특히 GAIA와 같은 복잡한 벤치마크에서 단일 LLM보다 월등히 높은 성능을 보여줍니다. 필자들은 이 강력한 시스템의 핵심인 '에이전트 프레임워크'를 오픈소스로 공개하여 연구 커뮤니티가 이를 재현하고 발전시킬 수 있도록 하는 것을 목표로 합니다.
5월 7일23
HuggingFaceAI 번역헤드라인
DeepResearch Bench에서 오픈 소스 Llama Nemotron 모델 측정
NVIDIA의 AI-Q Blueprint는 Llama 3.3 기반의 오픈소스 LLM과 검색 기능을 결합하여 DeepResearch Bench에서 최고 성능을 달성했습니다. 이 아키텍처는 Llama-3.3-Nemotron-Super-49B-v1.5와 같은 최적화된 모델을 사용하여 긴 컨텍스트 이해, 복잡한 에이전트 추론, 그리고 신뢰할 수 있는 다중 출처 합성 능력을 보여줍니다. AI-Q는 투명성(추론 과정 및 근거 제시)과 효율성을 유지하면서도 폐쇄형 대안에 필적하거나 능가하는 고급 연구 워크플로우를 오픈소스 환경에서 구현할 수 있음을 입증했습니다.
5월 7일16
HuggingFaceAI 번역헤드라인
Open R1: 업데이트 #2
Open R1 프로젝트는 DeepSeek R1의 누락된 부분, 특히 훈련 파이프라인과 합성 데이터 구축에 초점을 맞추고 있습니다. 이번 업데이트에서는 수학적 추론을 위한 대규모 데이터셋인 OpenR1-Math-220k를 공개했습니다. 이 데이터셋은 Numina와 협력하여 512개의 H100 클러스터에서 로컬로 생성되었으며, 자동 필터링 및 고급 평가 시스템(Math Verify)을 통해 높은 품질의 추론 트레이스를 제공합니다. 또한, 최신 LLM 기술(SGLang 등)을 활용하여 데이터 생성 속도를 획기적으로 높이는 방법론도 공유했습니다.
5월 7일13
HuggingFaceAI 번역헤드라인
비디오 생성을 위한 훌륭한 데이터셋 구축하기
본 기술 기사는 비디오 생성 모델을 미세 조정하기 위해 자체 데이터셋을 구축하는 과정을 안내하며, 이를 위한 개발 중인 툴링 파이프라인을 소개합니다. 이 파이프라인은 `yt-dlp`를 이용한 다운로드부터 시작하여, 'Video to Scenes' 스크립트를 통해 긴 비디오를 짧은 클립으로 분할하고, 워터마크 감지(LAION-5B), 미학 점수 예측, NSFW 콘텐츠 검사 등 다단계의 정교한 필터링을 적용합니다. 또한 Florence-2와 같은 모델을 활용하여 캡션, 객체 인식, OCR 등의 메타데이터를 추출함으로써 고품질의 커스텀 비디오 데이터셋 구축 방법을 제시합니다.
5월 7일6
HuggingFaceAI 번역헤드라인
SigLIP 2: 더 나은 다국어 비전 언어 인코더
구글이 다국어 비전-언어 인코더인 SigLIP 2를 출시했습니다. 이 모델은 기존 SigLIP의 대조적 손실(contrastive loss)을 시그모이드 손실(sigmoid loss)로 확장하고, 위치 감지 및 로컬 세맨틱스 개선을 위한 여러 추가적인 훈련 목적을 통합하여 성능을 크게 향상시켰습니다. 특히, 동적 해상도 변형인 NaFlex를 도입하여 다양한 비율과 해상도의 다운스트림 작업에 유연하게 적용할 수 있는 것이 핵심입니다.
5월 7일6
HuggingFaceAI 번역헤드라인
Aya Vision: 다국어 멀티모달리티의 경계를 확장하는 심층 분석
Aya Vision은 Cohere For AI가 개발한 오픈 웨이트 다국어 멀티모달 비전-언어 모델(VLM) 가족으로, 23개 언어에 걸친 강력한 언어 및 시각 이해 능력을 제공합니다. 이 모델은 합성 어노테이션, 번역/재구성 등을 통해 데이터 규모를 확장하고, 고해상도 이미지 처리를 위해 동적 리사이징과 Pixel Shuffle 다운샘플링 기법을 적용했습니다. Aya Vision 8B와 32B는 경쟁사 대비 뛰어난 성능을 보여주며, 연구 커뮤니티에 오픈 웨이트로 공개되어 다국어 멀티모달 AI 발전에 기여합니다.
5월 7일9
HuggingFaceAI 번역헤드라인
Sentence Transformers 를 활용한 Reranker 모델 학습 및 Fine-tuning
본 기사는 Reranker 모델을 효과적으로 학습하고 미세 조정(Fine-tuning)하는 방법을 포괄적으로 다룹니다. Reranker는 쿼리와 문서 쌍의 관련성을 평가하는 Cross Encoder 아키텍처를 사용하며, 이는 일반적인 임베딩 모델보다 더 높은 성능을 보일 수 있습니다. 기사는 데이터셋, 손실 함수, 학습 인자, 평가기 등 Fine-tuning에 필요한 핵심 구성 요소들을 설명하고, 도메인 특화 데이터를 활용하여 범용 모델의 한계를 뛰어넘는 강력한 맞춤형 Reranker를 구축하는 방법을 제시합니다.
5월 7일11
HuggingFaceAI 번역헤드라인
HELMET 소개: 장기 컨텍스트 언어 모델의 포괄적 평가
HELMET(How to Evaluate Long-Context Models Effectively and Thoroughly)는 장기 컨텍스트 언어 모델(LCLMs)을 포괄적이고 신뢰성 있게 평가하기 위해 설계된 새로운 벤치마크입니다. 기존의 Perplexity나 단순 합성 작업(예: needle-in-a-haystack)은 실제 세계 성능과 상관관계가 낮고, 기존 벤치마크들은 커버리지 부족, 길이 제한, 신뢰할 수 없는 지표 등의 한계를 가집니다. HELMET은 다양한 응용 분야를 포괄하고, 입력 길이와 복잡성을 제어 가능하며, 기반 모델(base model)과 명령어 튜닝 모델 모두에 적용 가능한 평가 환경을 제공하여 LCLMs의 진정한 능력을 측정하는 것을 목표로 합니다.
5월 7일7
HuggingFaceAI 번역헤드라인
Visual Salamandra: 다중 모달 이해의 경계 확장
Visual Salamandra는 70억 파라미터의 기반 모델 위에 구축된 다중 모달 대규모 언어 모델(LLM)로, 이미지와 비디오를 포함한 다양한 시각적 입력과 텍스트 명령을 통합적으로 이해하고 응답할 수 있도록 설계되었습니다. 이 모델은 Google의 SigLIP 인코더와 Late-Fusion 아키텍처를 활용하여 Vision-Language Alignment를 강화했으며, VQA, OCR, 문서 이해 등 광범위한 다중 모달 작업을 수행합니다. 개발 과정에서 4단계에 걸친 체계적인 훈련(프로젝터 사전 학습, 고품질 비전 사전 학습, 명령어 튜닝, 전체 다중 모달 튜닝)을 거쳤으며, 특히 유럽 언어 다양성을 강조하는 Multilingual Instruction-Tuned Framework를 통해 포용성과 성능을 동시에 확보했습니다.
5월 7일7
HuggingFaceAI 번역헤드라인
비전 언어 모델 (더 나은, 더 빠른, 더 강력한)
본 기사는 지난 1년간 비전 언어 모델(VLMs) 분야에서 발생한 주요 변화와 최신 트렌드를 포괄적으로 다루고 있습니다. VLM은 단순히 이미지와 텍스트를 결합하는 것을 넘어, 'Any-to-any'처럼 어떤 모달리티의 입력이든 다른 모달리티로 출력할 수 있는 방향으로 진화하고 있습니다. 특히 Qwen 2.5 Omni나 MiniCPM-o 같은 최신 모델들은 텍스트 생성(Thinker)과 음성 응답(Talker)을 분리하거나, 비전/음성/언어 등 여러 모달리티를 통합적으로 이해하고 콘텐츠를 생성하는 강력한 능력을 보여주며, 추론 및 에이전트 기능까지 갖추고 있습니다.
5월 7일14
HuggingFaceAI 번역헤드라인
NVIDIA Nemotron 3 Nano Omni: 문서, 오디오 및 비디오 에이전트를 위한 긴 컨텍스트 멀티모달 지능 소개
NVIDIA Nemotron 3 Nano Omni는 문서, 오디오, 비디오를 포함한 다양한 모달리티의 복잡하고 긴 컨텍스트를 이해하도록 설계된 최신 오미모달(omni-modal) 지능 모델입니다. 이 모델은 Mamba-Transformer 혼합 전문가 백본과 전문 인코더들을 결합하여, 장문 문서 분석, 다중 이미지 추론, 자동 음성 인식, 그리고 긴 오디오-비디오 이해 등 광범위한 작업을 최고 수준의 정확도로 수행합니다. 특히 높은 처리량과 효율성을 자랑하며, 에이전트 기반 컴퓨터 사용 및 복잡한 다단계 추론 작업에 최적화되어 있습니다.
5월 6일7
HuggingFaceAI 번역헤드라인
Kaggle 사용자를 위한 Hugging Face 모델 접근성 개선
Kaggle이 Hugging Face 모델과의 통합을 개선하여, 사용자들이 두 플랫폼 간에 모델 접근성과 가시성을 높일 수 있게 되었습니다. 이제 Kaggle 노트북 내에서 Hugging Face 모델을 쉽게 불러와 사용할 수 있으며, 반대로 Kaggle의 모델도 Hugging Face Hub에서 관리할 수 있습니다. 이 통합은 사용자 경험을 향상시키고 커뮤니티가 더 많은 최신 AI 모델과 예제 코드를 한 곳에서 탐색하도록 돕는 것을 목표로 합니다.
5월 6일15
HuggingFaceAI 번역헤드라인
nanoVLM: 순수 PyTorch 로 VLM 훈련하기 가장 간단한 저장소
nanoVLM은 순수 PyTorch를 사용하여 Vision Language Model(VLM)을 훈련할 수 있도록 설계된 초보자 친화적인 경량 툴킷입니다. 이 프로젝트는 Andréj Karpathy의 nanoGPT에서 영감을 받아, VLM의 복잡한 작동 원리를 이해하고 실제로 구현해보고 싶은 사용자들을 위해 최소화되고 가독성이 높은 코드를 제공합니다. VLM은 이미지와 텍스트 두 가지 모달리티를 처리하여 캡셔닝, 객체 감지, 시각적 질문 답변(VQA) 등 다양한 작업을 수행할 수 있습니다. nanoVLM은 특히 VQA에 초점을 맞추고 있으며, 표준 Vision Transformer (SigLIP)와 Llama 3 아키텍처 기반의 언어 모델을 결합하고 Modality Projection 모듈로 두 임베딩 공간을 정렬하는 방식으로 작동합니다. 사용자는 제공된 `train.py` 스크립트를 통해 로컬 설정 없이도 쉽게 VLM 훈련 파이프라인 전체를 실행할 수 있습니다.
5월 6일13
HuggingFaceAI 번역헤드라인
Training Cluster as a Service - NVIDIA 와의 새로운 협력
Hugging Face와 NVIDIA가 'Training Cluster as a Service'라는 새로운 협력을 통해 전 세계 연구자 및 기업들에게 대규모 GPU 클러스터 접근성을 제공합니다. 이 서비스는 사용자가 필요한 훈련 실행 기간에만 비용을 지불할 수 있는 유연성을 제공하며, NVIDIA DGX Cloud의 최신 아속 컴퓨팅 용량과 Hugging Face의 방대한 개발 리소스를 결합한 완전한 솔루션입니다. 이를 통해 연구자들은 희귀 질환 연구부터 화학 모델링까지 다양한 분야에서 최고 수준의 AI 모델을 구축할 수 있게 되어, 고성능 컴퓨팅 자원에 대한 접근 장벽이 크게 낮아집니다.
5월 6일10
HuggingFaceAI 번역헤드라인
Arc 가상 세포 도전: 입문서
본 기술 기사는 ML 엔지니어에게 생물학적 배경 지식이 부족하더라도 참여할 수 있도록 재구성된 '가상 세포 도전'을 소개합니다. 이 도전을 통해 CRISPR 유전자 침묵과 같은 변형이 세포 전사체에 미치는 영향을 예측하는 모델을 훈련하는 것이 목표입니다. Arc는 약 30만 개의 단일 세포 RNA 시퀀싱 데이터셋을 활용하며, 특히 '기저(basal)' 상태의 제어 세포 집단을 참조점으로 사용하여 침적 효과를 분리해내는 것이 핵심 과제임을 설명합니다. 이를 위해 Arc는 State Transition Model (ST)과 State Embedding Model (SE)로 구성된 트랜스포머 기반 모델 쌍을 개발하여, 변형 전후의 세포 상태 변화를 시뮬레이션하는 강력한 기준선(baseline)을 제시하고 있습니다.
5월 6일12
HuggingFaceAI 번역헤드라인
NeurIPS 2025 E2LM 경연 대회 발표: 언어 모델의 초기 단계 평가
본 기술 기사는 NeurIPS 2025 E2LM 경연 대회를 소개하며, LLM의 초기 학습 단계(특히 과학적 지식 분야)에서 의미 있는 추론 및 지식을 포착하는 새로운 평가 벤치마크 구축을 목표로 합니다. 참가자들은 Hugging Face Space를 통해 솔루션을 제출하고, '신호 품질 점수', '순위 일관성 점수', '과학적 지식 준수 점수' 세 가지 기준에 가중치를 적용하여 최종 글로벌 점수를 얻게 됩니다. 이 대회는 LLM의 초기 학습 과정에서 기존 벤치마크가 놓쳤던 핵심 신호를 발견하는 데 중점을 두고 있습니다.
5월 6일11