Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Lobste.rsAI 번역헤드라인
뮌헨 1991: 현재 AI 붐의 뿌리
현재 AI 붐의 핵심 기술인 Transformer, 사전 학습, 신경망 증류, 잔차 학습 등의 기원이 1991년 Jürgen Schmidhuber의 뮌헨 공과대학교 연구실에서 시작되었음을 설명합니다. 현대 LLM을 지탱하는 기술적 토대가 30년 전 이미 마련되었음을 역사적 타임라인을 통해 조명합니다.
6월 22일1
Lobste.rsAI 번역헤드라인
LLM이 실제로 작동하는 방식
현대 LLM의 핵심인 Transformer 아키텍처의 작동 원리를 입문자 수준에서 설명합니다. 토큰화부터 임베딩, 어텐션 메커니즘, 다음 토큰 예측에 이르는 전체 파이프라인을 다룹니다.
6월 18일1
Lobste.rsAI 번역헤드라인
gzip이 언어 모델(Language Model)이 될 수 있을까?
압축-예측 등가성 원리를 바탕으로, 신경망 없이 gzip 압축 알고리즘만을 활용하여 언어 모델링을 구현하는 실험적 접근법을 다룹니다. 압축 효율이 높을수록 예측 확률이 높다는 점을 이용해 빔 서치 방식으로 텍스트를 생성하는 원리를 설명합니다.
6월 16일1
Lobste.rsAI 번역헤드라인
WeatherMesh-6의 새로운 기능
WeatherMesh-6(WM-6)는 ECMWF의 IFS 및 AIFS보다 뛰어난 정확도를 자랑하는 차세대 AI 기상 예보 모델입니다. 잠재 공간에서의 앙상블 모델링을 통해 예측 성능을 극대화했으며, 방대한 변수 카탈로그를 제공하여 다양한 산업 분야에서의 활용도를 높였습니다.
6월 15일2
Lobste.rsAI 번역헤드라인
Claude Fable 5 및 Claude Mythos 5
Anthropic이 최첨단 성능을 갖춘 새로운 모델인 Claude Fable 5와 사이버 보안 특화 모델인 Claude Mythos 5를 출시했습니다. Fable 5는 소프트웨어 엔지니어링 및 과학 연구 등 다양한 분야에서 기존 모델을 능가하는 성능을 보여줍니다.
6월 15일2
Lobste.rsAI 번역헤드라인
AI 에이전트를 통한 적응형 컴퓨터 웜 (Computer Worm) 구현
AI 에이전트가 대상 시스템에 맞춰 공격 전략을 실시간으로 생성하는 적응형 컴퓨터 웜의 위험성을 경고하는 연구입니다. 이 웜은 탈취한 자원으로 오픈 웨이트 LLM을 실행하여 중앙 통제 없이 자가 지속되는 특성을 가집니다.
6월 6일0
Lobste.rsAI 번역헤드라인
언어 모델은 데이터 내의 숨겨진 신호를 통해 행동 특성을 전달한다
모델 증류 과정에서 의미론적으로 관련 없는 데이터를 통해서도 교사 모델의 행동 특성이 학생 모델로 전이되는 '잠재적 학습(subliminal learning)' 현상을 규명한 연구입니다. 숫자 시퀀스나 코드와 같은 데이터에서도 모델의 편향이나 정렬되지 않은 특성이 상속될 수 있음을 실험과 이론으로 증명했습니다.
6월 6일1
Lobste.rsAI 번역헤드라인
단순한 X가 아닙니다. 그것은 Y입니다
LLM이 생성하는 특정 문장 구조와 언어적 패턴이 글쓰기와 평가에 미치는 영향을 분석합니다. AI 탐지 도구가 인간의 고유한 문체를 기계적인 것으로 오인하여 오히려 인간의 목소리를 훼손하는 현상을 비판합니다.
6월 1일1
Lobste.rsAI 번역헤드라인
AI에서의 Open/Closed 문제
MLSys 컨퍼런스 경험을 바탕으로 AI 시스템의 발전 과정을 Open/Closed 문제 관점에서 분석합니다. 하드웨어의 범용성과 특수성 사이의 순환, 그리고 모델 학습과 추론의 분리 문제를 다룹니다.
5월 25일1
Lobste.rsAI 번역헤드라인
OpenMythos: Claude Mythos 아키텍처에 대한 이론적 재구성 (연구 문헌 기반)
OpenMythos는 Claude Mythos 아키텍처를 이론적으로 재구성한 오픈 소스 구현체입니다. 순환 깊이 트랜스포머(RDT) 구조와 희소 MoE를 활용하여 연산 적응형 및 가변 깊이 추론을 구현합니다.
5월 22일1
Lobste.rsAI 번역헤드라인
Aurora: 직사각형 행렬을 위한 레버리지 인지 최적화 도구 (Leverage-Aware Optimizer)
Muon 최적화 도구의 행 노름 이방성 문제를 해결하기 위해 제안된 Aurora 최적화 도구에 관한 연구입니다. 행 노름 균일성과 직교성을 동시에 유지하는 최급 강하 문제를 해결하여 1.1B 모델 학습 시 100배의 데이터 효율성을 달성했습니다.
5월 22일1
Lobste.rsAI 번역헤드라인
Transformer 아키텍처의 결정화 (2017-2025)
2017년부터 2025년까지 Transformer 아키텍처가 어떻게 표준 스택으로 수렴했는지 분석합니다. RMSNorm, RoPE, SwiGLU, GQA 등 현대 LLM의 핵심 구성 요소와 그 선택 배경을 다룹니다.
5월 22일1
Lobste.rsAI 번역헤드라인
sectorllm: 1500 바이트 미만의 x86 어셈블리로 구현한 llama2 추론
1189 바이트의 x86 어셈블리 코드로 구현된 초소형 Llama2 추론 엔진 sectorllm을 소개합니다. OS 없이 부팅하여 양자화된 모델을 직접 실행하며, 코드 크기 최소화(golfing)를 목표로 설계되었습니다.
5월 22일1
Lobste.rsAI 번역헤드라인
nanoGPT 스피드런을 위한 자율적 AI 연구
Codex와 Claude Code 에이전트를 활용하여 nanoGPT 스피드런 최적화 과정을 자율적으로 수행한 연구 결과입니다. 에이전트들이 인간의 기록을 경신하며 하이퍼파라미터 탐색에 능숙함을 보였으나, 새로운 아이디어 창출에는 한계가 있음을 확인했습니다.
5월 22일1
Lobste.rsAI 번역헤드라인
여러분이 직접 하지 않도록 제가 TurboQuant의 수학적 원리에 31시간을 투자했습니다
TurboQuant의 수학적 원리와 PolarQuant 기술을 심층 분석합니다. PolarQuant는 극좌 변환과 재귀 알고리즘을 통해 KV 캐시를 4.2배 이상 압축하여 긴 문맥 처리 효율을 높이는 새로운 양자화 방법론을 제시합니다.
5월 22일1
Lobste.rsAI 번역헤드라인
트랜스포머는 본질적으로 간결함
본 논문은 개념을 설명하는 모델로서 트랜스포머가 가진 표현력을 측정하기 위해 '간결성(succinctness)'이라는 지표를 제안합니다. 연구진은 트랜스포머가 유한 오토마타나 LTL 공식 같은 표준 형식 언어보다 훨씬 간결하게 형식 언어를 표현할 수 있음을 증명했습니다. 이로 인해, 트랜스포머의 속성을 검증하는 문제는 계산적으로 매우 어려운(EXPSPACE-complete) 문제임이 밝혀졌습니다.
4월 27일3
Lobste.rs중요헤드라인
Mamba: 선택적 상태 공간을 활용한 선형 시간 시퀀스 모델링
Mamba는 기존 Transformer의 $O(L^2)$ 복잡도를 해결하고, 긴 시퀀스 데이터 처리에 최적화된 새로운 아키텍처입니다. 핵심은 '선택적 상태 공간 모델 (Selective State Space)'을 도입하여 메모리 효율성과 계산 속도를 혁신적으로 개선했다는 점입니다. 이를 통해 Transformer 대비 훨씬 빠르면서도 높은 성능을 보여주며, 특히 대규모 언어 모델(LLM)의 시퀀스 처리 능력을 한 단계 끌어올릴 잠재력을 제시합니다.
4월 23일5
Lobste.rs중요헤드라인
LLM 애플리케이션 평가 파이프라인 구축 도구, Pipevals 소개
Pipevals는 개발자가 별도의 인프라나 복잡한 코딩 없이도 모든 종류의 LLM 애플리케이션을 평가할 수 있도록 설계된 통합 파이프라인 빌더입니다. 기존 스택에 단일 API 호출만 추가하여 모델 응답 전체를 평가하고, 시각적인 캔버스에서 데이터 흐름(모델 호출, 데이터 변형, 점수 측정 등)을 쉽게 구성할 수 있습니다. 이 플랫폼은 실행 실패에도 견디는 내구성 있는 엔진과 자동화된 지표 대시보드를 제공하여, AI 시스템의 품질 변화 추이를 체계적으로 모니터링하고 모델 간 비교 평가(Model A/B Comparison)를 수행하는
4월 23일4
Lobste.rs중요헤드라인
LLM 경량화의 핵심: 양자화(Quantization) 원리 이해하기
거대 언어 모델(LLM)을 실제로 구동하는 데 필요한 막대한 메모리 용량과 계산 자원은 큰 장벽입니다. 이 글은 LLM의 핵심 구성 요소인 '파라미터(Parameters)'와 컴퓨터가 데이터를 저장하는 방식(Float32 등)부터 시작하여, 왜 양자화(Quantization) 기술이 필수적인지 설명합니다. 파라미터는 모델의 가중치이며, 대부분 작은 값을 가지므로 32비트 부동소수점(float32) 대신 더 적은 비트를 사용하는 저정밀도 데이터 타입으로 압축할 수 있습니다. 이를 통해 모델 크기를 최대 4배 줄이고 속도를 2배 향상시
4월 23일5
Lobste.rs헤드라인
LLM을 활용한 대규모 온라인 익명성 해제 공격 연구
본 논문은 거대 언어 모델(LLM)이 비식별화된 온라인 프로필과 대화를 분석하여 대규모로 개인을 재식별(deanonymize)할 수 있음을 보여줍니다. 연구진은 전 인터넷 접근성을 가진 에이전트를 설계하여, 가명으로 활동하는 사용자들의 게시글만으로도 높은 정밀도로 신원을 파악할 수 있습니다. 특히, 구조화된 데이터가 필요했던 기존의 익명성 해제 기법과 달리, 이 방법론은 플랫폼에 관계없이 원본 텍스트 콘텐츠를 직접 다룹니다. 연구팀은 Hacker News와 LinkedIn 프로필 연결, Reddit 사용자 매칭 등 세 가지 시나리오
4월 23일5