Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Lobste.rsAI 번역헤드라인
Revision Prompting이 산업용 LLM 프로세스를 개선하는 방법
산업용 LLM 프로세스에서 입력 데이터 변경 시 전체를 재처리하는 대신, 변경 사항(diff)만을 기반으로 출력물을 수정하는 Revision Prompting 기법을 소개합니다. 이를 통해 일관성 부족 문제를 해결하고 토큰 비용과 처리 시간을 획기적으로 절감할 수 있습니다.
8월 8일0
Lobste.rsAI 번역헤드라인
에이전트 워크플로의 캐시 유지(Cache Keepalive) 비용이 8배나 과다하게 발생하는 이유 (v2: 인터벌 프런티어)
에이전트 워크플로에서 프롬프트 캐시 유지를 위한 핑(ping) 간격이 관습적인 30초보다 훨씬 긴 약 4분이 적절함을 실험적으로 증명합니다. 제공업체별 캐시 만료 시점과 비용 효율성을 분석하여 최적의 캐시 유지 전략을 제시합니다.
8월 5일1
Lobste.rsAI 번역헤드라인
Born Against, 또는 취미 프로그래밍 커뮤니티가 LLM 사용에 공격적인 이유
취미 프로그래밍 커뮤니티가 LLM 사용에 적대적인 이유를 분석합니다. 이들에게는 결과물보다 학습 과정과 도메인 지식 습득이 핵심이며, LLM이 기술적 숙련 과정을 대체하는 것에 대한 거부감을 다룹니다.
8월 4일1
Lobste.rsAI 번역헤드라인
우리가 직접 C 및 C++ 추론 엔진을 작성하는 이유
LocalAI가 Python 의존성 없이 C/C++로 직접 추론 엔진을 작성하는 이유와 그 이점을 설명합니다. vllm.cpp 사례를 통해 경량화된 바이너리가 성능 저하 없이 메모리 점유율을 획기적으로 줄일 수 있음을 증명합니다.
8월 2일1
Lobste.rsAI 번역헤드라인
Baidu Kunlun을 위한 vLLM
vLLM Kunlun은 Kunlun XPU에서 vLLM을 원활하게 실행할 수 있도록 설계된 하드웨어 플러그인입니다. Transformer, MoE, 멀티모달 모델 등 다양한 오픈 소스 모델을 지원하며, 소스 코드 수정 없이 표준 플러그인 방식으로 통합이 가능합니다.
7월 31일1
Lobste.rsAI 번역헤드라인
Rust로 PHP 가상 머신(Virtual Machine) 작성하기 (AI의 많은 도움을 받아)
LLM의 도움을 받아 Rust로 PHP 가상 머신(VM)을 구축한 엔지니어링 경험을 다룹니다. 단순한 코드 재작성을 넘어 AI를 활용해 생소한 코드베이스를 이해하고 구현 전략을 탐색하는 과정을 설명합니다.
7월 30일1
Lobste.rsAI 번역헤드라인
MLIR 투어: 모두가 의존하는 Dialect Stack
MLIR의 개념과 Dialect 구조를 통해 현대적 ML 컴파일러가 구축되는 방식을 설명합니다. MLIR을 단순한 IR이 아닌, 다양한 도메인 컴파일러를 위한 IR 구성 키트(construction kit)로 정의하며 그 핵심 메커니즘을 다룹니다.
7월 24일1
Lobste.rsAI 번역헤드라인
에이전트에서의 프롬프트 캐싱 (Prompt Caching)
코딩 에이전트 운영 시 발생하는 비용과 지연 시간을 줄이기 위한 프롬프트 캐싱의 원리와 중요성을 다룹니다. KV 캐시의 작동 방식과 에이전트 설계 시 캐시 효율성을 고려해야 하는 이유를 설명합니다.
7월 23일1
Lobste.rsAI 번역헤드라인
단일 수치를 넘어: 배포를 위한 양자화 모델(Quantized Models) 평가하기
양자화 모델 평가 시 단일 지표의 한계를 지적하며, 적합성(Fit), 품질(Quality), 속도(Speed)를 기준으로 한 실무적 프레임워크를 제안합니다. 퍼플렉시티나 KLD 같은 충실도 지표가 베이스라인에 근접한 모델 간의 성능 순위를 정확히 매기지 못함을 분석합니다.
7월 23일2
Lobste.rsAI 번역헤드라인
개발뿐만 아니라 소프트웨어 배포 방식도 변할 수 있습니다
AI 코딩 에이전트의 등장으로 소프트웨어 배포 방식이 기존의 안정적 브랜치 중심에서 템플릿 기반의 유연한 방식으로 변화하고 있습니다. 사용자가 AI를 통해 코드를 직접 수정하고 특화할 수 있게 됨에 따라, 완성된 제품보다 실행 가능한 예시로서의 코드 저장소가 더 중요해지고 있습니다.
7월 23일1
Lobste.rsAI 번역헤드라인
Notion의 벡터 검색 2년: 10배의 확장과 1/10의 비용
Notion이 지난 2년간 벡터 검색 인프라를 10배 확장하면서도 비용을 90% 절감한 기술적 여정을 다룹니다. 의미론적 검색을 위해 구축한 이중 경로 아키텍처와 대규모 멀티 테넌트 워크로드를 처리하기 위한 샤딩 전략을 설명합니다.
7월 22일3
Lobste.rsAI 번역헤드라인
에이전트 워크플로우의 캐시 유지 비용이 8배나 더 많이 드는 이유
에이전트 워크플로우에서 프롬프트 캐시 유지를 위해 관습적으로 사용하는 30초 간격의 핑(ping) 방식이 실제로는 비용을 8배 높일 수 있음을 분석합니다. Anthropic, OpenAI, Gemini, DeepSeek를 대상으로 실험한 결과, 제공업체마다 캐시 유지 전략이 달라야 하며 Anthropic의 경우 약 4분 간격이 가장 효율적임을 밝힙니다.
7월 21일1
Lobste.rsAI 번역헤드라인
MiMo-V2.5 시리즈를 위한 풀 파이프라인 추론 최적화 (Full-Pipeline Inference Optimization)
MiMo-V2.5 모델 제품군의 이론적 아키텍처 효율성을 프로덕션 환경에서 실현하기 위한 풀 파이프라인 추론 최적화 기술을 다룹니다. Hybrid SWA와 MoE 구조에서 발생하는 KVCache 관리, 스케줄링, 멀티모달 처리 병목 현상을 해결하는 엔지니어링 실무를 제시합니다.
7월 20일1
Lobste.rsAI 번역헤드라인
LLM과 인터페이스하기 위한 Prolog 라이브러리
SWI-Prolog 환경에서 LLM을 쉽게 사용할 수 있도록 돕는 라이브러리인 pllm을 소개합니다. OpenAI 호환 엔드포인트를 지원하며, 프롬프트를 전송하고 응답을 변수에 결합하는 기능을 제공합니다.
7월 20일2
Lobste.rsAI 번역헤드라인
텐서(Tensor)의 위력
C 언어를 사용하여 밑바닥부터 가속화된 텐서(Tensor) 라이브러리를 구축하는 과정을 다룹니다. 텐서의 수학적 추상화 개념부터 형상(Shape), 스트라이드(Strides), 메모리 관리 및 참조 카운팅까지의 구현 원리를 설명합니다.
7월 20일1
Lobste.rsAI 번역헤드라인
메모리 하이스트 (The Memory Heist)
Claude의 메모리 시스템과 웹 브라우징 기능이 결합될 때 발생할 수 있는 데이터 유출 취약점을 분석합니다. AI 에이전트가 사용자의 개인정보를 수집하여 외부 서버로 전송하는 공격 시나리오를 제시합니다.
7월 20일1
Lobste.rsAI 번역헤드라인
vLLM 트랜스포머 모델링 백엔드가 네이티브 속도에 도달하다
vLLM 백엔드가 트랜스포머(transformers) 라이브러리를 통합하여 다양한 LLM 아키텍처를 지원하며, 커스텀 vLLM 구현과 동일하거나 더 빠른 추론 속도를 제공합니다. 모델 작성자는 별도의 포팅 없이 `--model-impl transformers` 플래그 하나만 추가하여 초고속 vLLM 추론을 활용할 수 있게 되었습니다.
7월 16일1
Lobste.rsAI 번역헤드라인
Tau: 교육용 코딩 에이전트
Tau는 교육용 코딩 에이전트 프레임워크로, 에이전트의 내부 작동 원리를 투명하게 보여주는 것이 특징입니다. Provider adapter를 통해 모델 응답을 중립적인 이벤트로 변환하며, 재사용 가능한 하네스를 제공하여 메시지, 도구 호출 등 핵심 개념 학습에 초점을 맞춥니다. 이는 단순한 장난감이 아닌 교육용으로 설계되어, 에이전트 루프나 세션 관리 같은 근본적인 코딩 원리를 이해하는 데 도움을 줍니다.
7월 9일1
Lobste.rsAI 번역헤드라인
더 나은 모델, 더 나쁜 도구 사용 능력
Anthropic의 최신 모델에서 도구 호출(tool calling) 성능이 오히려 퇴보하는 현상이 관찰되었습니다. 이는 모델이 특정 Claude Code 하네스를 통해 강화학습되면서, 도구 선언의 미세한 차이에 민감하게 반응하는 오류를 유발하는 것으로 분석됩니다.
7월 4일1
Lobste.rsAI 번역헤드라인
digiKam이 당신을 이해하도록 가르치기: 로컬 LLM을 활용한 자연어 검색
GSoC 프로젝트의 일환으로 digiKam에 로컬 LLM을 통합하여 자연어 기반 사진 검색 기능을 구현하는 설계 과정을 소개합니다. LLM이 직접 데이터를 검색하는 대신 사용자의 자연어 의도를 구조화된 쿼리로 번역하는 '번역가' 역할을 수행하도록 설계되었습니다.
7월 1일1