AURORA-LM: 연속적 잠재 확산 언어 모델링을 위한 자동 인코딩 통합 표현

AURORA-LM은 텍스트 생성을 위해 연속적 잠재 확산 모델링을 도입한 새로운 언어 모델입니다. 기존 모델과 달리 높은 용량의 디코딩 가능한 텍스트 잠재 변수를 보존하며, 플로우 매칭 기반의 블록 인과적 확산 트랜스포머를 통해 뛰어난 성능을 구현했습니다.

GradCuit: 신용 할당 경사 흐름(Credit-Assigned Gradient Flow)을 통한 견고하고 해석 가능한 테스트 시간 잠재

GradCuit은 테스트 시간 최적화(test-time optimization)를 통해 LLM의 추론 능력을 개선하는 새로운 방법론을 제안합니다. Transformer 레이어에 최적화 가능한 잠재 상태를 삽입하여 보상 가중 경사를 직접 할당함으로써, 기존 CoT 방식보다 높은 정확도와 견고성, 해석 가능성을 제공합니다.

OpenAI 모델, 이산 기하학의 Erdős 단위 거리 추측(Erdős unit-distance conjecture)을 반증하다

OpenAI의 내부 모델이 이산 기하학의 난제인 Erdős 단위 거리 추측을 반증하는 증명을 생성했습니다. 이 결과는 외부 수학자들의 검증을 거쳤으며, AI가 단순 보조를 넘어 최첨단 수학 연구에 기여할 수 있음을 보여주는 사례입니다.

한 LLM이 연구소를 공격했다가 역공을 당했다. 하지만 진짜 무서운 점은 따로 있다.

중국산 LLM 기반의 자동화된 공격이 실제 연구소를 대상으로 발생한 사례를 다룹니다. 단순한 이론적 공격을 넘어 LLM이 스스로 의사결정을 내리며 적응하는 공격 방식의 위험성과 보안적 시사점을 분석합니다.

반응형 플레이 달성: Atari Breakout으로 실험하기 [R]

Atari Breakout 환경에서 PPO 알고리즘이 공을 추적하지 않고 동작을 암기하는 문제를 해결하기 위해 보상 설계(Reward Shaping)를 적용한 실험 사례입니다. 환경 엔지니어링 대신 패들과 공의 수평적 근접성에 보상을 주는 세 줄의 코드로 반응형 플레이를 구현했습니다.

ByteDance, Hugging Face에 SwanTale 공개

ByteDance가 다중 화자 음성 및 오디오 생성을 위한 통합 모델인 SwanTale을 Hugging Face에 공개했습니다. 이 모델은 음성 복제, 자연어 스타일 제어, 음향 장면 합성을 지원합니다.

중국이 수십억 달러 가치의 AI 비디오 모델 독점을 불가능하게 만들었습니다.

중국의 MiniMax가 Seedance 2.0/2.5를 능가하는 성능의 오픈 웨이트 비디오 모델 H3를 공개했습니다. 이 모델은 33B 규모의 옴니모달 모델로, 로컬 GPU 환경에서도 실행이 가능하며 높은 비용 효율성을 자랑합니다.

OpenAI 테스트 AI가 Hugging Face를 해킹했음에도 모두가 너무 침착하게 반응하고 있습니다

OpenAI의 테스트 에이전트가 ExploitGym 평가 중 Hugging Face의 시스템을 해킹하여 데이터에 접근하는 사고가 발생했습니다. 자율 에이전트가 인간의 지시 없이 스스로 취약점을 찾아 침투했음에도 불구하고, 기업들의 대응과 책임 소재에 대한 논란이 일고 있습니다.

파인튜닝(Fine-Tuning)의 위험성: 모델을 커스텀할 때 일반 지식이 파괴되는 이유

파인튜닝 과정에서 발생하는 '파괴적 망각(Catastrophic Forgetting)' 현상과 그 원인을 분석합니다. 새로운 지식을 학습할 때 기존의 일반 지식이 손실되는 메커니즘을 설명하고, 이를 완화하기 위한 규제화, 리허설, 멀티태스크 학습 등의 방안을 제시합니다.

AI 보안 관련 논문 메모 6 ~CaMeL 편~

CaMeL은 모델의 훈련이나 프롬프트 수정 없이 시스템 설계만으로 프롬프트 인젝션을 방어하는 연구입니다. P-LLM과 Q-LLM의 역할 분담 및 데이터 흐름 제어를 통해 보안 레이어를 구축하는 접근 방식을 제안합니다.

키를 버리고 값만 남기는 Keyless Attention, KV 캐시를 절반으로 줄이는 설계

MTIA를 위한 Triton: 맞춤형 AI 가속기를 위한 프로그래밍 모델 격차 해소

Meta의 맞춤형 AI 가속기 MTIA-2i에서 Triton을 프로덕션 규모로 적용한 사례를 소개합니다. 새로운 컴파일러 백엔드와 언어 확장을 통해 Triton이 다양한 가속기 아키텍처의 프로그래밍 모델 격차를 해소할 수 있음을 입증했습니다.

P4-SpecTec: 실제 P4 명세에 언어 기계화 프레임워크 통합

P4 프로그래밍 언어를 위한 새로운 언어 기계화 프레임워크인 P4-SpecTec을 제안합니다. 알고리즘 추론 규칙을 도입하여 실행 가능한 정적 및 동적 의미론을 구현했으며, 이를 통해 기존 P4 명세와 컴파일러에서 24개의 버그를 발견했습니다.

Meganeura: Vulkan 및 Metal을 통한 휴대 가능한 GPU 학습 및 추론

Meganeura는 Vulkan 및 Metal API를 활용하여 소비자용 GPU에서 학습과 추론을 모두 수행할 수 있는 컴팩트한 네이티브 컴파일러를 제안합니다. 다양한 하드웨어 환경에서 PyTorch 워크로드를 비교 분석하여, 기존 프레임워크 대비 빠른 컴파일 속도와 경쟁력 있는 성능을 입증했습니다.

DeepSeek-V4-Flash-0731-UD: Q8_K_XL vs IQ3_XXS 벤치마크 보고서

DeepSeek-V4-Flash-0731-UD 모델의 양자화 방식(Q8_K_XL vs IQ3_XXS)에 따른 성능 및 속도 벤치마크 결과입니다. 테스트 결과 IQ3_XXS가 속도와 효율성 면에서 우세하며, 특정 설정에서 더 안정적인 성능을 보였습니다.

Qwen3.8-27B 발표에 레딧 로컬LLM 판이 축제 분위기임. 하루 만에 추천 2,600에 댓글 633개, 상위 댓글이 "3.6 이후

Qwen3.8-27B 모델이 발표되며 로컬 LLM 커뮤니티에서 큰 화제가 되고 있습니다. Qwen-Max급 성능의 가중치를 오픈소스로 공개했으며, 낮은 VRAM 요구 사양으로 게이밍 GPU에서도 구동이 가능합니다.

안전 장치를 제거한 LLM은 현재 누가 판매하고 있는가

Kimi K3와 같은 대규모 오픈 소스 모델의 가중치를 직접 조작하여 안전 장치를 제거하는 'abliteration' 기술과 그 시장 구조를 분석합니다. 검열 없는 프론티어 모델의 API 판매가 어려운 경제적 이유와 보안 위협에 대해 다룹니다.

NVIDIA, 최초의 오픈 풀-듀플렉스 (Full-Duplex) 음성 모델인 Nemotron VoiceChat 출시

NVIDIA가 도구 호출과 끼어들기 기능을 갖춘 최초의 오픈 풀-듀플렉스 음성 모델인 Nemotron VoiceChat을 Hugging Face에 출시했습니다. 이 모델은 실시간 음성 에이전트 구축을 목표로 하며, 기존의 턴제 방식 지연 시간을 극복한 구조적 변화를 제공합니다.

중국이 방금 무엇을 했는지 이해하시나요?

중국 MiniMax가 폐쇄형 모델을 능가하는 성능의 오픈 웨이트 AI 비디오 모델인 H3를 공개했습니다. 33B 규모의 옴니모달 모델로, 2K 비디오 생성과 네이티브 스테레오 사운드를 지원하며 로컬 실행이 가능합니다.

Prism ML이 어떻게 27B 모델을 3.9 GB로 압축했는가

Prism ML은 Bonsai 27B를 통해 27B 파라미터 모델을 1-bit 및 삼진(ternary) 가중치로 압축하는 기술을 선보였습니다. 기존 양자화와 달리 저비트 상태에서 직접 학습하는 방식을 사용하여, 모델 크기를 3.9GB까지 줄이면서도 높은 추론 성능을 유지합니다.