Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
X @clementdelangue (자동 발견) 59건필터 해제
직시합시다: 사후 API 가드레일(guardrails)은 프런티어 모델(frontier models)을 위한 올바른 안전 도구가 아닙니다.
사후 API 가드레일은 모델의 근본적인 위험 능력을 제거하지 못하며 탈옥에 취약하다는 점을 지적합니다. 대신 강력한 평가, 단계적 출시, 오픈 소스 지원 및 독립적 검증을 통한 근본적인 안전 확보를 제안합니다.
Gemma 챌린지 발표!
Google과 오픈 소스 커뮤니티는 AI 빌더들을 사보타주하기보다 역량 강화에 초점을 맞추고 있습니다. 특히 Hugging Face와 같은 플랫폼이 에이전트 간의 협업을 지원하는 허브 역할을 할 것으로 기대됩니다.
AI 평가의 구조적 문제점: 투명성 부족과 폐쇄형 API 선호
본 글은 현재 AI 평가(evals) 시스템이 구조적으로 투명성이 부족한 폐쇄형 API를 선호하는 문제점을 지적합니다. 라우팅, 폴백, 앙상블 등 백그라운드 과정들이 불투명하게 작동하여 공정한 비교가 어렵다는 비판입니다.
Opus 4.8의 성능 평가에 대한 오해와 '분할의 오류' 설명
본 글은 특정 모델(Opus 4.8, Fable 5)의 성능 평가에 대한 오해와 '분할의 오류'를 지적합니다. 단순히 평균 점수가 낮다고 해서 모든 질의에서 성능이 떨어진다는 결론을 내릴 수 없으며, 개별 벤치마크에서는 오히려 더 나은 성능을 보일 수 있음을 설명합니다.
내러티브의 위반: Stanford 연구에 따르면 로컬 모델이 실세계 채팅 및 추론 질의의 71.3%를 정확하게 답변할 수 있음
Stanford 연구에 따르면 로컬 모델의 실세계 채팅 및 추론 질의 정확도가 71.3%까지 상승했습니다. 이는 대부분의 작업에 고비용의 프런티어 모델이 필요하지 않음을 시사하며, 효율적인 멀티 모델 전략의 중요성을 강조합니다.
토큰 비용 때문에 SaaS 종말은 일어나지 않을 것입니다 / 좋은 개발 도구는 에이전트를 위한 캐시된 지능입니다!
에이전트가 모든 도구를 직접 구현하는 대신, 잘 설계된 CLI와 같은 추상화 계층을 사용하는 것이 토큰 비용 절감과 성공률 향상에 필수적임을 강조합니다. 좋은 개발 도구는 에이전트가 매번 추론할 필요가 없는 '캐시된 지능' 역할을 합니다.
HF 인프라 최적화 및 xet 중복 제거를 통한 68TB 데이터셋 복제
Hugging Face(HF)의 인프라 최적화와 xet 중복 제거 기술을 활용하여 4TB의 로컬 디스크 환경에서도 68TB 규모의 대규모 데이터셋을 1분 이내에 복제하는 방법을 소개합니다.
AI 안전은 밀실에서 이루어질 수 없습니다!
AI Security Institute가 Hugging Face를 통해 AI 안전 평가 도구, 데이터셋, 모델을 공개했습니다. 이를 통해 전 세계 연구자들이 AI 안전 기술을 검증하고 발전시킬 수 있는 개방형 연구 환경이 조성되었습니다.
HF 사이언스 팀이 비동기 RL 가중치 동기화의 대역폭 비용을 약 100배 절감했으며, 이제 공유 클러스터가 필요하지 않습니다.
HF 사이언스 팀이 비동기 강화학습(RL) 시 발생하는 가중치 동기화 대역폭 비용을 약 100배 절감하는 기술을 개발했습니다. 변경된 요소만 희소 safetensors로 인코딩하여 전송함으로써, 고가의 공유 클러스터 없이도 분리형 학습이 가능해졌습니다.
300,000명의 AI 빌더들이 @huggingface에 하드웨어 프로필을 작성했습니다. 그 결과를 공유합니다.
Hugging Face의 30만 명의 AI 빌더를 대상으로 한 하드웨어 프로필 조사 결과를 공유합니다. 로컬 AI의 폭발적인 성장세와 향후 하드웨어 활용 트렌드를 확인할 수 있습니다.
llama.cpp/ggml의 새로운 WebGPU 백엔드 소개
llama.cpp/ggml 프로젝트에 약 1년 반 동안의 개발 끝에 새로운 WebGPU 백엔드가 도입되었습니다. 이 업데이트를 통해 브라우저 환경에서의 LLM 실행 성능이 크게 향상될 것으로 기대됩니다.
@LeRobotHF 팀, 주로 3D 프린팅 및 기성 부품을 사용하여 약 2,500달러로 제작된 오픈 소스 이족 보행 로봇 플랫폼인
Hugging Face의 LeRobotHF 팀이 3D 프린팅과 기성 부품을 활용한 2,500달러 규모의 오픈 소스 이족 보행 로봇 플랫폼을 발표했습니다. 하드웨어 설계부터 소프트웨어, 시뮬레이션까지 통합된 패키지를 제공합니다.
Hugging Face, 로봇 학습용 오픈 소스 저가형 LeRobot Humanoid 공개
Hugging Face가 로봇 학습을 위한 오픈 소스 저가형 휴머노이드인 LeRobot Humanoid를 공개했습니다. 약 2,500달러의 비용으로 하드웨어, CAD, 시뮬레이션 환경을 포함한 풀 스택 솔루션을 제공합니다.
좋은 타이밍일까요? pplx에서 학습시킨 작은 ColBERT 모델을 공개합니다
Perplexity(pplx)가 pplx-embed-0.6b를 지속 학습하여 네이티브 다국어를 지원하는 소형 ColBERT 모델을 공개했습니다. 이와 함께 후기 상호작용 검색(Late-interaction retrieval)의 병목 현상을 해결하기 위해 Metal 및 WMMA 기반의 MaxSim 커널을 출시하여 기존 방식 대비 3~5배의 속도 향상을 구현했습니다.
MTP 지원을 통한 llama.cpp, 로컬 모델을 일상적인 용도로 사용할 수 있을 만큼 빠르게 만듦
llama.cpp가 MTP(Multi-Token Prediction) 지원을 통해 로컬 모델의 추론 속도를 획기적으로 개선했습니다. Qwen3.6-27B 모델 기준 A10G 환경에서 기존 대비 약 78% 향상된 생성 속도를 보여주며, 로컬 모델을 실사용 가능한 수준으로 끌어올렸습니다.
엄청나게 빠른 DNA 모델 Carbon을 출시합니다
새로운 DNA 모델인 Carbon이 출시되었습니다. Carbon은 기존 차순위 모델보다 275배 빠른 속도를 자랑하며, 단일 GPU를 사용하여 2일 미만의 시간 내에 전체 인간 게놈을 처리할 수 있는 성능을 갖추고 있습니다.
비디오에서 구조화된 정보를 추출하는 초소형 VLM, Marlin-2B 오픈 소스 공개
비디오 내에서 '무슨 일이 일어나는지'와 '언제 일어나는지'에 대한 구조화된 정보를 추출하도록 설계된 초소형 VLM인 Marlin-2B가 오픈 소스로 공개되었습니다. 2B 파라미터 규모임에도 불구하고 Gemini-1.5-flash와 경쟁할 수 있는 뛰어난 성능을 보여주는 해당 체급 최고의 오픈 모델입니다.
거대 모델을 오픈 소스로 공개하는 것은 아무도 빠르게 실행할 수 없기 때문에 무용지물이라는 말을 했던 것이 기억납니다...
과거에는 거대 모델을 빠르게 실행할 수 없어 오픈 소스 공개가 무용지물이라는 의견이 있었으나, Cerebras가 1조 개의 파라미터를 가진 Kimi K2.6 모델을 초당 약 1,000 토큰의 속도로 실행하며 이를 반박했습니다. 이는 Artificial Analysis가 측정한 역대 가장 빠른 프런티어 모델 성능입니다.
이 부분을 짚자면: 중국 산업계에는 모델 레이어가 마스터할 가치가 있는 풀 스택이라는 깊은 베팅이 있습니다.
중국 산업계에서는 모델 레이어(model layer)가 전체 스택을 마스터할 가치가 있는 핵심 영역이라는 깊은 베팅이 존재합니다. 이는 AI 기술의 발전 방향과 관련하여, 단순히 특정 하드웨어나 애플리케이션에 국한되지 않고 모델 자체를 중심으로 하는 풀 스택 접근 방식이 중요하게 여겨지고 있음을 시사합니다.
It was a manufactured marketing narrative all along because Anthropic lacked
이 기사는 안트로픽(Anthropic)과 같은 AI 모델들이 특정 소프트웨어 취약점을 발견하는 데 사용될 수 있음을 시사합니다. 사이버 보안 전문가들은 Mythos가 공개한 취약점들이 이미 존재하는 다양한 AI 모델, 특히 안트로픽의 모델을 통해서도 찾아낼 수 있다고 지적했습니다.
이 피드 구독하기
본 페이지의 콘텐츠는 AI가 공개된 소스를 기반으로 자동 수집·요약·번역한 것입니다. 원 저작권은 각 원저작자에게 있으며, 각 게시물의 “원문 바로가기” 링크를 통해 원문을 확인할 수 있습니다. 저작권자의 삭제 요청이 있을 경우 신속히 조치합니다.