Insights

open-sourcetransformermoerecurrent-depth

OpenMythos: Claude Mythos 아키텍처에 대한 이론적 재구성 (연구 문헌 기반)

OpenMythos는 Claude Mythos 아키텍처를 이론적으로 재구성한 오픈 소스 구현체입니다. 순환 깊이 트랜스포머(RDT) 구조와 희소 MoE를 활용하여 연산 적응형 및 가변 깊이 추론을 구현합니다.

45분 전0

10년간의 탐지 로직 작성 경험이 Mythos Exploit 수치를 덜 두렵게 만드는 이유

Anthropic의 Mythos 모델이 보여주는 취약점 탐지 속도에 대한 우려를 다루며, 탐지 엔지니어의 관점에서 행동 기반 탐지의 중요성을 강조합니다. 개별 익스플로잇에 의존하기보다 공격자의 동작 패턴을 파악하는 것이 방어의 핵심임을 설명합니다.

microgpt를 Futhark로 포팅하기, 제1부

Andrej Karpathy의 microgpt를 데이터 병렬 언어인 Futhark로 포팅하는 과정을 다룹니다. Python 구현의 확장성 한계를 극복하기 위해 Futhark의 병렬 프리미티브를 활용하여 순전파(forward pass)를 구현하는 방법을 소개합니다.

Wireloom: UI 와이어프레임을 위한 Markdown 확장 도구

Wireloom은 텍en 기반의 Markdown 확장 도구로, 들여쓰기된 텍스트를 깔끔한 SVG 와이어프레임으로 변환해줍니다. GitHub, Notion 등 Markdown을 지원하는 환경에서 UI 목업을 즉시 렌더링할 수 있어 AI 에이전트와 개발자 모두에게 유용합니다.

Aurora: 직사각형 행렬을 위한 레버리지 인지 최적화 도구 (Leverage-Aware Optimizer)

Muon 최적화 도구의 행 노름 이방성 문제를 해결하기 위해 제안된 Aurora 최적화 도구에 관한 연구입니다. 행 노름 균일성과 직교성을 동시에 유지하는 최급 강하 문제를 해결하여 1.1B 모델 학습 시 100배의 데이터 효율성을 달성했습니다.

Transformer 아키텍처의 결정화 (2017-2025)

2017년부터 2025년까지 Transformer 아키텍처가 어떻게 표준 스택으로 수렴했는지 분석합니다. RMSNorm, RoPE, SwiGLU, GQA 등 현대 LLM의 핵심 구성 요소와 그 선택 배경을 다룹니다.

sectorllm: 1500 바이트 미만의 x86 어셈블리로 구현한 llama2 추론

1189 바이트의 x86 어셈블리 코드로 구현된 초소형 Llama2 추론 엔진 sectorllm을 소개합니다. OS 없이 부팅하여 양자화된 모델을 직접 실행하며, 코드 크기 최소화(golfing)를 목표로 설계되었습니다.

Google의 Prompt API

Google이 Gemini Nano 모델과 상호작용하기 위한 Prompt API를 출시했으나, 웹 표준 절차를 무시하고 특정 기업의 정책에 종속된 설계를 강행했다는 비판을 받고 있습니다. 이 API는 현재 Chrome 환경에서 Gemini Nano를 사용하기 위한 용도로 구현되었습니다.

nanoGPT 스피드런을 위한 자율적 AI 연구

Codex와 Claude Code 에이전트를 활용하여 nanoGPT 스피드런 최적화 과정을 자율적으로 수행한 연구 결과입니다. 에이전트들이 인간의 기록을 경신하며 하이퍼파라미터 탐색에 능숙함을 보였으나, 새로운 아이디어 창출에는 한계가 있음을 확인했습니다.

여러분이 직접 하지 않도록 제가 TurboQuant의 수학적 원리에 31시간을 투자했습니다

TurboQuant의 수학적 원리와 PolarQuant 기술을 심층 분석합니다. PolarQuant는 극좌 변환과 재귀 알고리즘을 통해 KV 캐시를 4.2배 이상 압축하여 긴 문맥 처리 효율을 높이는 새로운 양자화 방법론을 제시합니다.

트랜스포머는 본질적으로 간결함

본 논문은 개념을 설명하는 모델로서 트랜스포머가 가진 표현력을 측정하기 위해 '간결성(succinctness)'이라는 지표를 제안합니다. 연구진은 트랜스포머가 유한 오토마타나 LTL 공식 같은 표준 형식 언어보다 훨씬 간결하게 형식 언어를 표현할 수 있음을 증명했습니다. 이로 인해, 트랜스포머의 속성을 검증하는 문제는 계산적으로 매우 어려운(EXPSPACE-complete) 문제임이 밝혀졌습니다.

4월 27일2

Mamba: 선택적 상태 공간을 활용한 선형 시간 시퀀스 모델링

Mamba는 기존 Transformer의 $O(L^2)$ 복잡도를 해결하고, 긴 시퀀스 데이터 처리에 최적화된 새로운 아키텍처입니다. 핵심은 '선택적 상태 공간 모델 (Selective State Space)'을 도입하여 메모리 효율성과 계산 속도를 혁신적으로 개선했다는 점입니다. 이를 통해 Transformer 대비 훨씬 빠르면서도 높은 성능을 보여주며, 특히 대규모 언어 모델(LLM)의 시퀀스 처리 능력을 한 단계 끌어올릴 잠재력을 제시합니다.

LLM 애플리케이션 평가 파이프라인 구축 도구, Pipevals 소개

Pipevals는 개발자가 별도의 인프라나 복잡한 코딩 없이도 모든 종류의 LLM 애플리케이션을 평가할 수 있도록 설계된 통합 파이프라인 빌더입니다. 기존 스택에 단일 API 호출만 추가하여 모델 응답 전체를 평가하고, 시각적인 캔버스에서 데이터 흐름(모델 호출, 데이터 변형, 점수 측정 등)을 쉽게 구성할 수 있습니다. 이 플랫폼은 실행 실패에도 견디는 내구성 있는 엔진과 자동화된 지표 대시보드를 제공하여, AI 시스템의 품질 변화 추이를 체계적으로 모니터링하고 모델 간 비교 평가(Model A/B Comparison)를 수행하는

LLM 경량화의 핵심: 양자화(Quantization) 원리 이해하기

거대 언어 모델(LLM)을 실제로 구동하는 데 필요한 막대한 메모리 용량과 계산 자원은 큰 장벽입니다. 이 글은 LLM의 핵심 구성 요소인 '파라미터(Parameters)'와 컴퓨터가 데이터를 저장하는 방식(Float32 등)부터 시작하여, 왜 양자화(Quantization) 기술이 필수적인지 설명합니다. 파라미터는 모델의 가중치이며, 대부분 작은 값을 가지므로 32비트 부동소수점(float32) 대신 더 적은 비트를 사용하는 저정밀도 데이터 타입으로 압축할 수 있습니다. 이를 통해 모델 크기를 최대 4배 줄이고 속도를 2배 향상시

LLM을 활용한 대규모 온라인 익명성 해제 공격 연구

본 논문은 거대 언어 모델(LLM)이 비식별화된 온라인 프로필과 대화를 분석하여 대규모로 개인을 재식별(deanonymize)할 수 있음을 보여줍니다. 연구진은 전 인터넷 접근성을 가진 에이전트를 설계하여, 가명으로 활동하는 사용자들의 게시글만으로도 높은 정밀도로 신원을 파악할 수 있습니다. 특히, 구조화된 데이터가 필요했던 기존의 익명성 해제 기법과 달리, 이 방법론은 플랫폼에 관계없이 원본 텍스트 콘텐츠를 직접 다룹니다. 연구팀은 Hacker News와 LinkedIn 프로필 연결, Reddit 사용자 매칭 등 세 가지 시나리오

ZFS, eBPF 기반의 범용 OS 구축 도구 kldload 소개

kldload는 사용자가 원하는 다양한 리눅스 배포판(CentOS, Debian, Ubuntu 등)을 기반으로 ZFS (Zettabyte File System), WireGuard, eBPF 등의 핵심 기술이 통합된 맞춤형 운영체제를 구축할 수 있게 돕는 재패커(re-packer) 도구입니다. 이 도구는 기본 배포판의 패키지 관리자 및 저장소를 그대로 사용하며, ZFS on root, 커널 레벨 암호화 네트워킹을 제공하는 WireGuard, 그리고 고급 네트워크 기능을 지원하는 eBPF를 안정적으로 통합합니다. 특히, 오프라인 환경

OxCaml Labs

OxCaml Labs는 Jane Street 주도로 'Oxidised OCaml (OxCaml)'이라는 언어 확장을 탐구하며, 이를 활용한 고성능 시스템 애플리케이션을 구축하고 있습니다. 이 그룹은 단순히 새로운 기술을 개발하는 것을 넘어, OCaml 생태계 전반에 걸쳐 기여(Stewardship)합니다. 주요 활동 영역으로는 컴파일러 개선(Relocatable OCaml 등), 브라우저 기반의 라이브 프로그래밍 환경 구축, 그리고 AI 지원 개발 방법론 연구가 있습니다. 특히, 컴파일러를 재배치 가능하게 만들어 현대적인 패키징 워

Vercel 서비스 약관 업데이트: 에이전트 기능 및 AI 활용 방안 안내

Vercel은 개발자 환경의 변화에 맞춰 '서비스 약관(Terms of Service)'과 '개인정보 보호정책(Privacy Policy)'을 업데이트했습니다. 주요 변경 사항은 에이전트 기반 기능(agentic features) 지원 및 AI 생태계 기여를 위한 데이터 활용 방안입니다. Vercel은 플랫폼 효율성 개선, 장애 예측/완화, 사용량 최적화 등을 위해 데이터를 사용할 수 있습니다. 특히, 사용자 코드를 이용한 모델 학습 참여는 선택 사항이며, 플랜별 기본 설정(Hobby: 기본 동의 / Pro: 기본 거부 / Ent:

나어 이론과 비브코딩: 분산 시스템의 본질을 탐구하다

이 글은 '비브코딩(Vibecoding)'이라는 현상에 대한 비판적 성찰과 함께, 분산 시스템의 동작 원리를 예측하는 '나어 이론(Naur theory)'을 중심으로 기술적인 논점을 제시합니다. 저자는 코드를 통해 시스템의 작동 방식을 추론하는 것이 중요하며, 이를 위해 여러 가지 함정 기법(Forgetfulness, Idiosyncracy 등)을 활용한 두 가지 코딩 챌린지를 진행했습니다. 또한, RPython을 이용해 컴파일러를 업데이트하고 버그를 수정하는 과정을 통해 기술적 역량을 입증했으며, 궁극적으로는 자체 리눅스 배포판을

AI 메모리 시스템 설계: 단순 컨텍스트 창을 넘어

AI 에이전트의 성능은 단순히 긴 컨텍스트 윈도우(Context Window)에 의존하는 것을 넘어, 체계적인 '메모리 시스템' 구축에 달려 있습니다. 과거에는 모델의 컨텍스트 창 확장만으로 충분할 것이라 여겨졌으나, 실제로는 LLM이 컨텍스트 중간 정보 검색에 취약하고 성능 저하를 겪는 문제가 발견되었습니다. 따라서 메모리 시스템은 정보를 단순히 저장하는 것을 넘어, '저장(Store)', '검색(Retrieve)', '주입(Inject)', '발화(Emit)'의 네 단계를 거쳐 작동해야 합니다. 특히 시간적 오류 방지(절대 날짜