Spring AI에서 LLM 응답을 스트리밍하는 방법 (Server-Sent Events)

Spring AI를 사용하여 LLM의 응답을 Server-Sent Events(SSE) 방식으로 스트리밍하는 방법을 설명합니다. WebFlux의 Flux를 활용하거나 Spring MVC의 SseEmitter를 사용하여 사용자 경험(UX)을 개선하는 구체적인 구현 가이드를 제공합니다.

에러를 발생시키지 않는 버그: 프로덕션 환경에서의 몽키 패치 (Monkey-patch) 순서 문제

AgentCost 구축 과정에서 발생한 몽키 패칭(Monkey-patching) 순서 문제를 다룹니다. 코드 로드 순서에 의존하는 패칭 방식이 예외 없이 조용히 잘못된 동작을 유발하는 위험성을 경고합니다.

llama.cpp: Hy3 PR + GGUFs

llama.cpp에 Hy3 모델 지원을 위한 PR이 반영되었으며, GGUF 포맷 모델이 출시되었습니다. 사용자는 고사양 하드웨어 환경에서 안정적인 추론 속도를 확인했습니다.

GraphRAG이 우수한 이유는 정확도뿐이다: 1만 건으로 구축 비용 실측

Finance Toolkit을 활용한 경쟁사 및 섹터 분석

Finance Toolkit을 사용하여 반도체 기업들의 15년간 재무 데이터를 분석하고 추적하는 방법을 소개합니다. Python 라이브러리와 MCP 서버를 활용해 NVIDIA, Intel, AMD 등 주요 기업의 매출 변화를 간편하게 시각화하고 분석할 수 있습니다.

챗봇은 AI 에이전트가 아니다

챗봇, 어시스턴트, 워크플로우와 AI 에이전트의 기술적 차이점을 소프트웨어 설계 관점에서 정의합니다. 모든 AI 활용 사례를 에이전트로 오인할 경우 발생하는 설계 오류와 복잡성 문제를 경고합니다.

코드 에이전트를 위한 로컬 LLM: 유튜브가 알려주지 않는 사실

로컬 LLM을 코드 에이전트로 활용할 때 발생하는 실질적인 한계를 분석합니다. 단발성 질의응답은 가능하지만, 복잡한 추론과 도구 호출이 필요한 에이전트적 작업에서는 컨텍스트 고갈, 출력 형식 오류, 누적 지연 시간 문제로 인해 성능이 저하됩니다.

상태가 있는 작업을 위해 n8n을 자체 에이전트로 교체한 이유: HERMES

n8n의 고정된 워크플로우 방식이 가진 상태 유지 및 동적 결정의 한계를 분석하고, 이를 해결하기 위해 구축한 지속성 에이전트 Hermes를 소개합니다. Hermes는 MCP와 엄격한 스키마를 통해 문맥을 유지하며 실시간으로 다음 단계를 결정합니다.

4명의 AI 에이전트에게 사소한 Null Pointer 오류 수정을 요청했지만, 아무도 해결하지 못했다

AI 에이전트들이 단순한 Null Pointer 오류를 해결하지 못하는 사례를 통해, 생성(Generation)과 진단(Diagnosis)의 차이를 분석합니다. 모델이 복잡한 시스템 구축에는 능숙하지만, 실제 디버깅 과정에서의 직관적 문제 해결에는 한계가 있음을 보여줍니다.

인간인지 AI인지 검증하기 - 개발자를 위한 인간 증명 (Proof-of-Human) 검증 가이드

AI 에이전트의 발전으로 기존 CAPTCHA와 같은 방어 수단이 무력화됨에 따라, 새로운 '인간 증명(Proof-of-Human)' 시스템의 필요성을 다룹니다. 본 가이드는 봇과 인간을 구분하는 기술적 한계와 실무적인 검증 접근 방식을 엔지니어 관점에서 설명합니다.

당신의 AI 에이전트 로그는 당신을 속이고 있습니다: 실제로 작동하는 4개 필드 스키마

AI 에이전트의 로깅 시스템이 모델의 허위 응답을 제대로 포착하지 못하는 문제를 지적하며, 실제 실패를 감지할 수 있는 4가지 필수 필드 스키마를 제안합니다.

자율 엔지니어: AI가 실제 은행 티켓을 엔드 투 엔드로 해결하는 방법과 이를 정확하게 유지하는 머신

Eko에서 구축한 자율 에이전트가 은행 업무와 같은 민감한 작업을 엔드 투 엔드로 안전하게 처리하는 아키텍처를 설명합니다. 모델의 권한 남용을 방지하기 위해 컴파일 단계의 타입 검증, 불투명 참조 활용, 그리고 엄격한 코어 로직을 통한 권한 부여 방식을 제안합니다.

OpenClaw, Hermes Agent, NanoClaw가 API 예산을 낭비하는 것을 방지하는 방법

OpenClaw, Hermes Agent 등 자율 에이전트의 무한 루프로 인한 API 예산 낭비를 방지하기 위한 런타임 거버넌스 구축 방법을 소개합니다. 네트워크 프록시인 Loopers를 활용하여 에이전트 코드를 수정하지 않고도 API 호출을 제어하고 예산을 관리하는 가이드를 제공합니다.

AI 에이전트를 독립형 애플리케이션처럼 구축하는 것을 멈추세요

AI 에이전트를 독립형 애플리케이션처럼 구축하는 방식의 한계를 지적하며, 확장 가능한 아키텍처를 제안합니다. 에이전트가 모든 기능을 직접 소유하는 대신 컨텍스트 서비스, 도구 레지스트리, 권한 계층과 같은 공유 플랫폼 기능을 소비해야 함을 강조합니다.

AI가 스레드 안전(Thread-Safe) 카운터를 작성했습니다. 하지만 CPU는 이를 5배나 느리게 만들었습니다.

AI가 작성한 스레드 안전한 코드가 하드웨어의 캐시 라인 구조로 인해 성능이 5배 저하되는 현상을 분석합니다. 데이터가 물리적으로 인접할 때 발생하는 '거짓 공유(False Sharing)' 문제와 그 해결책을 다룹니다.

린터(Linter)는 비코드 자산의 가치를 측정할 수 없다 — 이를 위한 LLM 재고 조사 도구를 만들었습니다

저장소 내에 방치된 설정 파일, 워크플로우, 문서 등 비코드 자산의 가치를 측정하기 위해 grep과 LLM을 결합한 재고 조사 도구 설계 방식을 소개합니다. 구조적 분석은 코드로, 의미적 가치 판단은 LLM으로 수행하여 효율성을 극대화합니다.

모델을 자체 호스팅한다는 것은 그 평가 또한 자체 호스팅함을 의미한다

오픈 웨이트 모델을 자체 호스팅할 때 발생하는 '평가 부채(evaluation debt)'의 위험성을 경고합니다. 양자화와 추론 엔진 선택이 모델의 성능에 미치는 영향을 간과하지 말고, 지속적인 평가 파이프라인을 구축해야 함을 강조합니다.

LLM 비용을 40배 절감한 방법 — 클라우드 아키텍트의 마이그레이션 플레이북

OpenAI의 높은 추론 비용 문제를 해결하기 위해 DeepSeek V4 Flash로 마이그레이션하여 비용을 40배 절감한 사례를 다룹니다. 단순 비용 절감을 넘어 멀티 리전 가용성, 지연 시간 분포, 즉시 교체 가능한 아키텍처의 중요성을 강조합니다.