Deepseek v4 flash - prefill/pp에서 100-150 t/s 더 빠른 속도

Deepseek v4 flash 모델의 prefill 및 pipeline parallel 속도를 개선하기 위한 CUDA 버전 최적화 방법을 다룹니다. CUDA 13.2 이상의 버전에서 발생하는 DeviceTopK 이슈로 인한 성능 저하를 해결하기 위해 CUDA 13.1로의 다운그레이드를 권장합니다.

AI 쇼핑 에이전트에게 지갑과 기억력을 부여했습니다

CockroachDB를 활용하여 AI 쇼핑 에이전트에게 지속 가능한 기억력을 부여하는 프로젝트를 소개합니다. 에이전트가 과거의 구매 결정과 이유를 데이터베이스에 기록함으로써 실수를 방지하고 판단력을 개선하는 방법을 다룹니다.

유행이 아닌 작업에 따라 AI를 선택하세요 (간단한 라우팅 프레임워크)

모델의 리더보드 순위보다 작업의 실패 유형(failure mode)에 맞춰 AI 도구를 선택해야 함을 강조합니다. 작업의 특성에 따라 범용 채팅 모델과 코드 실행 도구 등을 구분하여 사용하는 전략적 접근법을 제시합니다.

vLLM-Moet 2-bit 양자화를 사용하여 DGX Spark에서 DeepSeek-V4-Flash-0731 (155 GB MoE) 실행하기

vLLM-Moet 2-bit 양자화를 활용하여 단일 DGX Spark 환경에서 DeepSeek-V4-Flash 모델을 실행하는 기술적 방법을 공유합니다. ARM64 아키텍처에서의 빌드 주의사항과 MTP(Multi-Token Prediction) 적용 시의 성능 변화를 다룹니다.

AI 에이전트(AI Agents) vs. AI 자동화(AI Automation): 차이점, 사용 사례 및 선택 기준

AI 에이전트와 AI 자동화의 핵심 차이점을 비교하고 적절한 선택 기준을 제시합니다. 자동화는 정해진 규칙을 따르는 반복 작업에 적합하며, 에이전트는 목표를 바탕으로 추론과 적응이 필요한 복잡한 작업에 유리합니다.

프롬프트, 컨텍스트, 하네스, 루프의 차이를 '설계 책임'으로 정리하기

AI 에이전트 설계 시 혼동하기 쉬운 프롬프트, 컨텍스트, 하네스, 루프의 개념을 '설계 책임' 관점에서 명확히 구분하여 정리합니다. 각 요소가 모델의 판단, 정보 제공, 실행 환경, 제어 흐름에서 담당하는 역할을 정의합니다.

【비망록】Metadata API Context Skill로 AI에게 Salesforce 메타데이터의 근거를 전달하기

Cloudflare Agents로 간이 기억(Memory) 구현하기

Cloudflare Agents의 Think와 Session API를 활용하여 에이전트에게 간이 기억(Memory) 기능을 구현하는 방법을 다룹니다. Context 설정을 통해 데이터의 읽기/쓰기 권한을 제어하고 시스템 프롬프트에 반영하는 과정을 설명합니다.

【전편】 API가 성공했는지 알 수 없다. AI의 재실행도 두렵다 — 실행 시점에 AI 거버넌스를 작동시키는 RPR

AI 에이전트의 외부 조작 시 발생하는 불확실성과 가역성 문제를 해결하기 위한 Responsibility Pathway Runtime(RPR)을 소개합니다. RPR은 권한, 승인, 실행 이력, 복구 등을 하나의 책임 경로로 관리하는 Python 기반의 AI 거버넌스 런타임입니다.

AI에게 정답을 요구하는 것을 멈추세요: 대신 검증 루프(Verification Loop)를 구축하세요

LLM의 확률적 특성으로 인한 오류를 방지하기 위해 생성과 검증을 분리하는 '검증 루프(Verification Loop)' 아키텍처를 제안합니다. 단순 프롬프팅을 넘어 추론, 공식화, 검증 단계로 이어지는 파이프라인 구축의 중요성을 강조합니다.

가장 비싼 모델이 항상 가장 빠른 경로인 것은 아니다

AI 모델 선택 시 단순히 가장 강력하거나 가장 저렴한 모델을 사용하는 대신, 작업의 불확실성과 결정론적 특성에 따라 최적의 모델을 매칭하는 전략을 제안합니다. 작업의 성격에 따라 경로를 구분하여 비용과 정확도를 동시에 최적화하는 '완료되어 수락된 경로'를 찾는 것이 핵심입니다.

Veo Extend가 3.1 Lite를 거치는 이유 — 음성이 포함된 새로운 장면을 만들기 전 확인해야 할 사항

Google Veo의 Extend 기능과 Reference 기능 간의 기술적 차이와 워크플로우 불일치 문제를 분석합니다. 새로운 캐릭터나 음성을 도입할 때 단순히 프롬프트를 수정하는 대신, 각 기능이 지원하는 경로(Veo 3.1 Lite vs Omni Flash)를 정확히 이해하고 작업 방식을 분리해야 함을 강조합니다.

감사 보고서 기반의 로컬 RAG: 5년간의 취약점 오프라인 검색

보안 감사 보고서의 비정형 데이터를 효율적으로 검색하기 위해 발견(finding) 단위로 청킹하는 로컬 RAG 시스템 구축 방법을 소개합니다. 고정 크기 청킹 대신 문서의 논리적 구조를 활용하여 검색 정확도를 높이는 전략을 다룹니다.

코딩 에이전트를 위한 dev.to 발행 도구를 만들었습니다. 핵심 문제는 코드가 아니라 셸(shell)이었습니다.

코딩 에이전트가 dev.to에 글을 자동으로 발행할 수 있도록 돕는 확장 도구 개발 사례를 소개합니다. 셸 환경의 비대화형(non-interactive) 특성으로 인해 발생하는 환경 변수 인식 문제를 해결하는 과정을 다룹니다.

Vivgrid, Kimi K3 출시

Vivgrid가 100만 토큰의 컨텍스트 윈도우와 멀티모달 입력을 지원하는 Kimi K3 모델을 출시했습니다. OpenAI 호환 API를 통해 기존 개발 환경에서 별도의 변경 없이 즉시 통합하여 사용할 수 있습니다.

Google은 AI 콘텐츠를 처벌하지 않는다 — 단지 저질 콘텐츠를 처벌할 뿐 (Ahrefs, 331,000개 이상의 페이지 연구)

Ahrefs의 100만 페이지 분석 결과, Google은 AI 콘텐츠 자체를 처벌하지 않는다는 사실이 밝혀졌습니다. 상위 검색 결과에서도 순수 AI 콘텐츠가 존재하며, Google은 AI 여부보다 콘텐츠의 품질을 기준으로 순위를 결정합니다.

에이전트 프로덕트 오너 (Agent Product Owner): Microsoft가 정의한, 대부분의 기업이 아직 채용하지 않은 직무

Microsoft의 플레이북을 바탕으로 새롭게 정의된 '에이전트 프로덕트 오너(Agent Product Owner)' 직무를 소개합니다. 에이전트가 단순 보조를 넘어 실행 단계로 진화함에 따라, 기술적 이해와 제품 중심 사고를 동시에 갖춘 운영 소유자의 필요성을 강조합니다.

AI 에이전트가 OAuth 토큰을 직접 보유해서는 안 되는 이유

AI 에이전트가 OAuth 토큰과 같은 민감한 자격 증명을 직접 보유할 때 발생하는 보안 위험을 분석합니다. 에이전트의 의사결정과 실제 실행을 분리하여 보안을 강화하는 커넥터 게이트웨이 아키텍처와 OpenConnector 프로젝트를 소개합니다.

Antigravity와 Google AI를 활용해 오픈 소스 생태계 전반에서 373개의 버그를 해결한 방법

AI 에이전트 엔지니어가 Antigravity 에이전틱 IDE와 Google AI를 활용하여 오픈 소스 프로젝트에서 373개의 버그를 해결한 사례를 소개합니다. 단순 오타 수정을 넘어 보안 취약점, 충돌, 경쟁 상태 등 실질적인 코드 문제를 해결하는 과정을 다룹니다.