Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Lobste.rsAI 번역헤드라인
브라우저에서 소형 언어 모델을 이용한 RAG 실행하기
본 글은 브라우저에서 소형 언어 모델(SLM)을 활용하여 RAG(검색 증강 생성) 기능을 구현하는 방법을 다룹니다. 클라이언트 측에서 검색, 게이팅, 프롬프팅, 생성이 모두 이루어져 사용자의 데이터가 기기를 벗어나지 않습니다. WebGPU 또는 WebAssembly를 통해 브라우저에서 모델을 실행하며, 여러 소형 모델 후보군과 그 성능 및 크기 비교에 대한 기술적 분석을 제공합니다.
10월 13일1
Lobste.rsAI 번역헤드라인
Voxlocal: Rust로 작성된 최소한의 음성 에이전트
본 글은 음성 에이전트의 작동 원리를 탐구하며, 특히 Rust로 작성된 로컬 저지연 음성 에이전트 'Voxlocal'을 소개합니다. Voxlocal은 사용자가 영어 언어를 통해 자동차 서비스와 같은 특정 작업을 수행할 수 있도록 설계되었으며, 기본적인 구성 요소와 마이크로 모델을 활용하여 투명한 파이프라인을 유지하는 데 초점을 맞추었습니다.
10월 10일1
Lobste.rsAI 번역헤드라인
Whistle: 16.9 MB 크기의 음성 인식 모델 소개
Whistle는 모바일, 웨어러블 등 다양한 장치 환경을 위해 설계된 경량 음성 인식 모델입니다. 단일 16.9 MB 파일 크기로 의존성 없이 CPU에서 실행되며, 전사(Transcription), 단어 타임스탬프, 음성 임베딩 세 가지 기능을 제공합니다. 이 모델은 기존의 Needle과 동일한 C++ 엔진 및 양자화 기술을 활용하여 효율성을 극대화했습니다.
10월 9일0
Lobste.rsAI 번역헤드라인
언어 모델 시대의 Clojure
본 글은 생성형 AI 시대에 개발자에게 필요한 핵심 역량으로 고수준 추론 능력을 강조하며, Clojure와 같은 데이터 중심적이고 함수를 선언적으로 조합하는 언어의 가치를 제시합니다. 특히 Clojure가 제공하는 라이브 프로세스(live process) 및 REPL 기반 워크플로우는 대규모 프로젝트에서 피드백 주기 단축과 상태 관리의 용이성을 극대화하여 개발 효율을 높입니다.
10월 8일1
Lobste.rsAI 번역헤드라인
RIP, 벡터 데이터베이스
turbopuffer가 스토리지 아키텍처를 개선하여 검색 기능을 한 단계 끌어올립니다. v3에서는 문서와 인덱스가 turbopuffer 내에 배치되고 쿼리되면서, 텍스트, 정규표현식, 벡터 검색 등 모든 면에서 속도가 향상됩니다. 또한 SQL 쿼리를 처리할 수 있는 기반도 마련합니다.
10월 7일1
Lobste.rsAI 번역헤드라인
Burn 0.22.0: 더 빠른 빌드, 쉬워진 확장, 그리고 스마트해진 자동 튜닝
Burn 0.22 버전은 애플리케이션 구축 및 커스텀 커널 통합을 용이하게 하며, 컴파일 시간과 빌드 속도를 크게 개선했습니다. 핵심 변경 사항은 모델 정의에서 백엔드 타입 매개변수를 제거하고 장치(Device) 기반 실행으로 전환한 것입니다. 이로써 재빌드 시간이 최대 15배까지 단축되었으며, 적응형 메모리 관리와 스마트 자동 튜닝 기능도 추가되었습니다.
10월 7일1
Lobste.rsAI 번역헤드라인
2048을 이용한 jev (TypeSafe의 System One 모델) 테스트
본 글은 jev (TypeSafe의 System One 모델)를 2048 게임에 적용하여 성능을 테스트한 내용을 담고 있습니다. 단순히 보드 상태만 제공하는 방식보다, 각 이동이 보드에 미칠 영향을 계산하여 옵션으로 제시했을 때 가장 좋은 성능을 보여주었습니다. 특히, jev에게 '보드와 각 이동에 대한 규칙 및 설명'과 같은 구조화된 정보를 제공하는 것이 모델의 추론 능력을 극대화함을 입증했습니다.
9월 19일1
Lobste.rsAI 번역헤드라인
Revision Prompting이 산업용 LLM 프로세스를 개선하는 방법
산업용 LLM 프로세스에서 입력 데이터 변경 시 전체를 재처리하는 대신, 변경 사항(diff)만을 기반으로 출력물을 수정하는 Revision Prompting 기법을 소개합니다. 이를 통해 일관성 부족 문제를 해결하고 토큰 비용과 처리 시간을 획기적으로 절감할 수 있습니다.
8월 8일1
Lobste.rsAI 번역헤드라인
에이전트 워크플로의 캐시 유지(Cache Keepalive) 비용이 8배나 과다하게 발생하는 이유 (v2: 인터벌 프런티어)
에이전트 워크플로에서 프롬프트 캐시 유지를 위한 핑(ping) 간격이 관습적인 30초보다 훨씬 긴 약 4분이 적절함을 실험적으로 증명합니다. 제공업체별 캐시 만료 시점과 비용 효율성을 분석하여 최적의 캐시 유지 전략을 제시합니다.
8월 5일2
Lobste.rsAI 번역헤드라인
Born Against, 또는 취미 프로그래밍 커뮤니티가 LLM 사용에 공격적인 이유
취미 프로그래밍 커뮤니티가 LLM 사용에 적대적인 이유를 분석합니다. 이들에게는 결과물보다 학습 과정과 도메인 지식 습득이 핵심이며, LLM이 기술적 숙련 과정을 대체하는 것에 대한 거부감을 다룹니다.
8월 4일2
Lobste.rsAI 번역헤드라인
우리가 직접 C 및 C++ 추론 엔진을 작성하는 이유
LocalAI가 Python 의존성 없이 C/C++로 직접 추론 엔진을 작성하는 이유와 그 이점을 설명합니다. vllm.cpp 사례를 통해 경량화된 바이너리가 성능 저하 없이 메모리 점유율을 획기적으로 줄일 수 있음을 증명합니다.
8월 2일2
Lobste.rsAI 번역헤드라인
Baidu Kunlun을 위한 vLLM
vLLM Kunlun은 Kunlun XPU에서 vLLM을 원활하게 실행할 수 있도록 설계된 하드웨어 플러그인입니다. Transformer, MoE, 멀티모달 모델 등 다양한 오픈 소스 모델을 지원하며, 소스 코드 수정 없이 표준 플러그인 방식으로 통합이 가능합니다.
7월 31일2
Lobste.rsAI 번역헤드라인
Rust로 PHP 가상 머신(Virtual Machine) 작성하기 (AI의 많은 도움을 받아)
LLM의 도움을 받아 Rust로 PHP 가상 머신(VM)을 구축한 엔지니어링 경험을 다룹니다. 단순한 코드 재작성을 넘어 AI를 활용해 생소한 코드베이스를 이해하고 구현 전략을 탐색하는 과정을 설명합니다.
7월 30일2
Lobste.rsAI 번역헤드라인
MLIR 투어: 모두가 의존하는 Dialect Stack
MLIR의 개념과 Dialect 구조를 통해 현대적 ML 컴파일러가 구축되는 방식을 설명합니다. MLIR을 단순한 IR이 아닌, 다양한 도메인 컴파일러를 위한 IR 구성 키트(construction kit)로 정의하며 그 핵심 메커니즘을 다룹니다.
7월 24일1
Lobste.rsAI 번역헤드라인
에이전트에서의 프롬프트 캐싱 (Prompt Caching)
코딩 에이전트 운영 시 발생하는 비용과 지연 시간을 줄이기 위한 프롬프트 캐싱의 원리와 중요성을 다룹니다. KV 캐시의 작동 방식과 에이전트 설계 시 캐시 효율성을 고려해야 하는 이유를 설명합니다.
7월 23일2
Lobste.rsAI 번역헤드라인
단일 수치를 넘어: 배포를 위한 양자화 모델(Quantized Models) 평가하기
양자화 모델 평가 시 단일 지표의 한계를 지적하며, 적합성(Fit), 품질(Quality), 속도(Speed)를 기준으로 한 실무적 프레임워크를 제안합니다. 퍼플렉시티나 KLD 같은 충실도 지표가 베이스라인에 근접한 모델 간의 성능 순위를 정확히 매기지 못함을 분석합니다.
7월 23일3
Lobste.rsAI 번역헤드라인
개발뿐만 아니라 소프트웨어 배포 방식도 변할 수 있습니다
AI 코딩 에이전트의 등장으로 소프트웨어 배포 방식이 기존의 안정적 브랜치 중심에서 템플릿 기반의 유연한 방식으로 변화하고 있습니다. 사용자가 AI를 통해 코드를 직접 수정하고 특화할 수 있게 됨에 따라, 완성된 제품보다 실행 가능한 예시로서의 코드 저장소가 더 중요해지고 있습니다.
7월 23일2
Lobste.rsAI 번역헤드라인
Notion의 벡터 검색 2년: 10배의 확장과 1/10의 비용
Notion이 지난 2년간 벡터 검색 인프라를 10배 확장하면서도 비용을 90% 절감한 기술적 여정을 다룹니다. 의미론적 검색을 위해 구축한 이중 경로 아키텍처와 대규모 멀티 테넌트 워크로드를 처리하기 위한 샤딩 전략을 설명합니다.
7월 22일4
Lobste.rsAI 번역헤드라인
에이전트 워크플로우의 캐시 유지 비용이 8배나 더 많이 드는 이유
에이전트 워크플로우에서 프롬프트 캐시 유지를 위해 관습적으로 사용하는 30초 간격의 핑(ping) 방식이 실제로는 비용을 8배 높일 수 있음을 분석합니다. Anthropic, OpenAI, Gemini, DeepSeek를 대상으로 실험한 결과, 제공업체마다 캐시 유지 전략이 달라야 하며 Anthropic의 경우 약 4분 간격이 가장 효율적임을 밝힙니다.
7월 21일2
Lobste.rsAI 번역헤드라인
MiMo-V2.5 시리즈를 위한 풀 파이프라인 추론 최적화 (Full-Pipeline Inference Optimization)
MiMo-V2.5 모델 제품군의 이론적 아키텍처 효율성을 프로덕션 환경에서 실현하기 위한 풀 파이프라인 추론 최적화 기술을 다룹니다. Hybrid SWA와 MoE 구조에서 발생하는 KVCache 관리, 스케줄링, 멀티모달 처리 병목 현상을 해결하는 엔지니어링 실무를 제시합니다.
7월 20일2