Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 페이지의 콘텐츠는 AI가 공개된 소스를 기반으로 자동 수집·요약·번역한 것입니다. 원 저작권은 각 원저작자에게 있으며, 각 게시물의 “원문 바로가기” 링크를 통해 원문을 확인할 수 있습니다. 저작권자의 삭제 요청이 있을 경우 신속히 조치합니다.
Orthrus diffusion head를 기반으로 한 Qwen 3.5, 3.6 및 Gemma 4 모델의 출시를 예고합니다. 모델 체크포인트와 함께 엔드 투 엔드 학습 및 평가 코드가 오픈 소스로 공개될 예정입니다.
머신러닝의 기초가 되는 다변량 확률 모델과 지수 가족(Exponential families)의 수학적 원리를 다룹니다. 시그모이드 함수 유도부터 혼합 모델, 확률적 그래픽 모델까지 심도 있는 이론적 배경을 설명합니다.
기존 RoPE의 한계를 넘어 시퀀스 내 위치를 다차원적으로 해석하는 HDD-RoPE 알고리즘을 제안합니다. 데이터 의존적인 회전량을 통해 모델이 문단이나 문장 같은 구조적 위치를 더 효과적으로 학습할 수 있도록 설계되었습니다.
MTP(Multi-Token Prediction) 기술이 적용된 Gemma4-26B-A4B 및 31B-QAT Uncensored Balanced 모델이 출시되었습니다. 이 모델들은 추측적 디코딩을 통해 속도를 최대 53% 향상시켰으며, 검열을 완화하여 창의적 글쓰기와 RP에 최적화되었습니다.
EdgeRazor는 에지 AI를 위해 설계된 경량 프레임워크로, 혼합 정밀도 양자화 인식 증류 기술을 통해 LLM을 효율적으로 압축합니다. 최소한의 코드 수정으로 기존 훈련 파이프라인에 통합되어 성능을 유지하면서도 저비용·고효율 계산을 지원합니다.
DeepSWE는 프론티어 모델의 실제 코드 작성 능력을 평가하기 위해 설계된 새로운 벤치마크입니다. 데이터 오염을 방지하고 실제 소프트웨어 엔지니어링의 복잡성을 반영하며, 신뢰할 수 있는 검증 방식을 제공합니다.
Gemma-3-12B 모델을 대상으로 비어휘적 문맥이 모델의 은닉 상태(Hidden-State)와 거부 행동에 미치는 영향을 분석한 연구입니다. 특정 텍스트를 입력하면 모델이 답변 스타일이 다른 내부 영역으로 이동하며, 이는 가중치 변화 없이도 모델의 태도를 변화시킬 수 있음을 보여줍니다.
Papers with Code가 연구 발견을 돕기 위해 대규모 업데이트를 진행했습니다. SOTA 배지 도입, GitHub 스타와 Hugging Face 지표를 결합한 새로운 트렌딩 점수, 그리고 제3자 외부 평가 지원 기능이 추가되었습니다.
Attention 메커니즘의 대안으로 제안된 새로운 선형 시간 시퀀스 아키텍처인 Matrix Recurrent Units(MRU)의 업데이트 내용을 다룹니다. 입력 상태 행렬 생성 방식에 따른 학습 안정성 변화와 직교 행렬 제약이 모델 성능에 미치는 영향을 분석합니다.
복잡한 diffusers 라이브러리 대신 FLUX 확산 모델의 핵심 아키텍처와 수학적 원리에 집중한 경량 PyTorch 구현체인 minFLUX를 소개합니다. FLUX.1과 FLUX.2의 차이점을 분석하며 트랜스포머 블록 및 VAE 개선 사항을 다룹니다.
Gemma 4 12B를 사례로 토큰화부터 추론, 학습, 양자화까지 LLM의 전체 스택을 심층 분석하는 15부작 시리즈를 소개합니다. 수학적 원리와 실제 텐서 형상, 하드웨어 제약 사항을 다루며 모델의 내부 동작을 상세히 설명합니다.
DVD-JEPA는 픽셀 예측 대신 미래의 표현(representation)을 예측하는 JEPA 아키텍처를 구현한 오픈 소스 월드 모델 연구입니다. 단순한 DVD 로고 움직임을 통해 세계 모델의 학습, 비디오 렌더링, 이상 탐지 능력을 성공적으로 증명했습니다.
시계열(TS) 모델링의 발전을 위해 동역학계(Dynamical Systems) 관점을 도입해야 한다는 ICML 2026 포지션 페이퍼를 소개합니다. 단순 예측을 넘어 시스템의 근저에 있는 동역학적 규칙을 이해함으로써 도메인 외 일반화와 장기 예측 성능을 높이는 방안을 제안합니다.
Microsoft Research가 제안한 NextLat은 트랜스포머가 다음 토큰 대신 다음 잠재 상태를 예측하도록 학습하는 자기지도 학습 방법론입니다. 이를 통해 압축된 세계 모델을 형성하여 추론과 계획 능력을 향상시키고, 자기 투기적 디코딩을 통해 추론 속도를 최대 3.3배 높입니다.
LLM이 특정 캐릭터 이름에 대해 강력한 사전 확률을 가지고 있어, 모델별로 선호하는 이름 조합이 존재한다는 연구 결과입니다. 특정 이름들이 앙상블 형태로 함께 나타나며, 이는 모델의 환각 현상과도 연관될 수 있습니다.
Hugging Face에서 향후 6시간 동안 GLM-5.2 모델의 추론 기능을 무료로 제공합니다. 사용자는 제공된 링크를 통해 해당 모델을 직접 테스트해 볼 수 있습니다.
Artificial Analysis에서 LLM의 계획 및 실행 능력을 평가하는 새로운 벤치마크를 출시했습니다. Claude Fable과 GLM 5.2가 해당 테스트에서 최고 성능을 기록했습니다.
에이전트가 실제 게임 엔진을 사용하여 엔드투엔드로 게임을 제작할 수 있는지 평가하는 새로운 벤치마크인 GameCraft-Bench를 소개합니다. Opus-4.7, GPT-5.5 등 최신 대형 모델들의 성능을 측정하며, 향후 중간 크기 모델들의 발전 가능성을 논의합니다.
Rust의 소유권 모델을 GPU 커널 작성에 도입하여 메모리 안전성과 데이터 경합 방지를 보장하는 cuTile Rust와 추론 엔진 Grout를 소개합니다. vLLM/SGLang과 경쟁 가능한 수준의 성능을 보여주며, 안전한 커널 작성이 성능 저하 없이 가능함을 입증했습니다.
LLM이 실제 게임인 Balatro를 플레이하며 전략적 능력을 평가하는 오픈 벤치마크 'Evalatro'가 공개되었습니다. 모델은 텍스트 구조로 게임 상태를 전달받아 스스로 플레이하며, 재현성을 위한 고정 시드와 공개 리더보드를 제공합니다.