Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
XAI 번역요약
transformers에서 continuous batching을 이용한 비동기 CPU/GPU 추론(async CPU/GPU
본문은 transformers 라이브러리에서 continuous batching을 활용하여 비동기 CPU 및 GPU 추론(inference)을 수행하는 방법에 대한 블로그 글을 소개합니다. 이 기술은 효율적인 리소스 관리를 통해 모델 추론 성능을 향상시키는 것을 목표로 합니다.
5월 16일0
XAI 번역요약
HF storage buckets는 매우 과소평가되어 있으며, 대규모 데이터를 다룬다면 삶을 훨씬 단순하게 만들어 줍니다.
HF storage buckets는 대규모 데이터를 다루는 작업을 훨씬 단순하게 만들어주는 과소평가된 도구입니다. 이전에 컴퓨팅 제공업체(Azure, Modal, AWS 등) 간에 데이터를 이동하거나 전환할 때 발생하는 복잡성과 높은 비용 문제가 있었습니다. HF storage를 사용하면 이러한 데이터 관리의 어려움을 크게 해소할 수 있습니다.
5월 15일1
XAI 번역요약
1) huggingface.co/spaces/Hugging FaceH4/on-policy-distillation … 2) …
본 자료는 온폴리시 증류(on-policy distillation)를 이해하는 데 도움이 되는 세 가지 유용한 리소스를 소개합니다. 특히 TRL 라이브러리를 활용하여 실습해 볼 수 있는 Hugging Face Spaces와 블로그 글을 제공하며, 초보자도 쉽게 접근할 수 있도록 구성되어 있습니다.
5월 15일0
XAI 번역요약
Hugging Face Hermes Agent > 로컬 앱에 Hermes Agent를 추가했습니다: 호환 가능한 모든 GGUF/MLX 모델로
Hugging Face가 Hermes Agent를 업데이트하여 사용자들이 로컬 애플리케이션에 통합할 수 있도록 했습니다. 이 업데이트를 통해 모든 GGUF/MLX 모델을 사용하여 로컬 환경에서 에이전트를 구동할 수 있게 되었으며, 또한 Hub에서 Hermes 트레이스를 직접 시각화할 수 있는 네이티브 트레이스 지원도 추가되었습니다.
5월 14일4
XAI 번역요약
Hugging Face에서 방금 공개 데이터셋 1,000,000개를 돌파했습니다! 이는 수백만 명의 AI 빌더들이 매일 다운로드하고, 분석하며
Hugging Face에서 공개된 데이터셋의 수가 100만 개를 돌파했습니다. 이는 수백만 명의 AI 빌더들이 매일 다운로드하고, 분석하며, AI 모델 학습에 사용하는 페타바이트(petabytes)급 데이터를 의미합니다. 특히 에이전트(agents) 성능 향상 이후로 데이터셋 사용 및 활용에서 뚜렷한 가속화가 관찰되고 있습니다.
5월 14일4