AI 엔지니어를 위한 10가지 에이전트 평가(Evals) 방법

AI 에이전트의 성능을 체계적으로 검증하기 위한 10가지 평가(Evals) 방법론을 소개합니다. 골든 세트부터 레드 팀까지, 오프라인과 온라인 환경에서 에이전트의 신뢰성을 확보하는 다양한 전략을 다룹니다.

Truss: 새로운 단일 사용자 로컬 하네스 (local harness)

Truss는 편의성과 보안에 초점을 맞춘 새로운 단일 사용자 로컬 하네스입니다. MCP(Model Context Protocol)를 기반으로 작동하며, 워크스페이스 모드를 통해 에이전트에게 안전한 파일 시스템 접근 권한과 도구 사용 환경을 제공합니다.

Atlas: 네트워크 인프라의 실시간 시각적 지도를 구축하는 오픈 소스 도구

Atlas는 네트워크 인프라의 실시간 시각적 지도를 구축하는 오픈 소스 도구입니다. Docker 환경과 로컬 서브넷을 자동으로 스캔하여 장치를 발견하고 연결 상태를 대시보드로 시각화합니다.

Firezone은 WireGuard를 기반으로 구축된 오픈 소스 제로 트러스트 (Zero-trust) 플랫폼입니다.

Firezone은 WireGuard 프로토콜을 기반으로 구축된 오픈 소스 제로 트러스트 플랫폼입니다. 피어 투 피어 터널링과 그룹 기반 정책을 통해 OpenVPN 대비 3배 빠른 보안 원격 액세스를 제공합니다.

OpenSCAP 및 CIS, STIG, NIST와 같은 준수 표준을 사용하여 Linux 운영 시스템을 강화(Hardening)하는 단계별 지침

OpenSCAP와 CIS, STIG, NIST 등 주요 준수 표준을 활용하여 Linux 운영 체제의 보안을 강화하는 단계별 가이드를 제공합니다.

이달의 네트워킹 - 2026년 6월

네트워킹 분야에서 AI 브랜딩을 넘어 실제적인 에이전틱 옵스(Agentic Ops)와 경로 정책의 중요성을 다룹니다. BGP 보안 강화와 AI 기반의 물리적 네트워크 운영 최적화 사례를 소개합니다.

Manus 팀이 Offloop를 통해 방금 보여준 것을 이해하시나요?

Manus 팀의 Offloop는 단일 에이전트의 한계를 극복하기 위해 오케스트레이션 계층에 집중한 새로운 AI 에이전트 시스템을 선보였습니다. 3B 파라미터의 디스패처 모델 D1을 통해 태스크를 효율적으로 배분하며, 기존 도구 대비 압도적인 비용 효율성과 성능을 기록했습니다.

스스로 수익을 창출하는 워크플로우 내 AI 에이전트 배포하기

단순한 챗봇 데모를 넘어, 기존 워크플로우 내에 통합되어 직접 액션을 수행하는 AI 에이전트 배포 전략을 다룹니다. 이벤트 기반 트리거와 컨텍스트 추출을 통해 엔지니어링 생산성을 높이고 실질적인 ROI를 달성하는 방법을 설명합니다.

18초 만에 펼쳐지는 2025년 여름 캘리포니아 산불 시즌

NASA FIRMS와 NOAA HRRR 데이터를 활용하여 2025년 캘리포니아 산불 시즌을 시각화한 프로젝트입니다. Python과 Rust 기반의 자체 매핑 엔진인 forge3d를 사용하여 지형을 렌더링했습니다.

AI Daily Digest — 2026년 7월 24일: OpenAI Presence 발표, Poolside Laguna S 2.1 출시

4줄짜리 보안 수정 사항이 100개 파일의 Pull Request로 변하고, 하마터면 그대로 병합할 뻔한 이야기

AI 보조 개발 시스템을 활용해 보안 라이브러리를 관리하던 중, JavaScript의 프로토타입 오염 취약점으로 인해 보안 가드가 무력화될 뻔한 사례를 다룹니다. AI 모델 리뷰 패널과 CI 시스템이 심각한 보안 버그를 감지하지 못하고 통과시킨 과정과 그 위험성을 설명합니다.

18년, 235개 이상의 사이트: 소규모 WordPress 스튜디오를 운영하며 실제로 배운 것들

18년간 235개 이상의 프로젝트를 수행한 WordPress 스튜디오 운영자의 실무 경험담입니다. 기술적 화려함보다 프로젝트 요구사항에 맞는 도구 선택과 투명한 가격 정책의 중요성을 강조합니다.

한 은행이 대출 승인을 더 빠르게 하기 위해 AI를 사용하고 싶어 했습니다. 제가 NestJS로 그 주변에 구축할 것들

AI 모델 도입 시 발생할 수 있는 통합 문제를 NestJS를 활용해 해결하는 방법을 다룹니다. 모델 장애 시 자동 승인되는 위험을 방지하기 위해 타임아웃 설정, 안전한 폴백(fallback) 경로 구축, 수동 검토 큐로의 라우팅 및 로깅의 중요성을 강조합니다.

Sihl, 라벨 컨버터를 위한 수성 잉크젯 코팅 PE 필름 출시

Sihl이 라벨 컨버터를 위해 수성 잉크젯 코팅이 적용된 새로운 PE 필름 제품군을 출시했습니다. 이 필름은 높은 유연성을 제공하여 곡면 용기에도 밀착이 용이하며, 단일 소재 사용을 통해 EU의 지속 가능한 포장 규정을 준수할 수 있습니다.

Schnucks와 VitalityIP, Google Cloud 기반의 에이전틱 커머스 쇼핑 어시스턴트 출시

Schnuck Markets와 VitalityIP가 Google Cloud Vertex AI를 기반으로 한 식료품 분야 최초의 에이전틱 커머스 쇼핑 어시스턴트를 출시했습니다. 이 시스템은 단순 챗봇을 넘어 재주문, 식단 계획 등 복잡한 다단계 작업을 자율적으로 수행합니다.

Croc GUI: 터미널 없이 사용하는 암호화된 P2P 파일 전송 (크로스 플랫폼)

Croc GUI는 CLI 도구인 croc을 기반으로 한 암호화된 P2P 파일 전송 데스크톱 애플리케이션입니다. 드래그 앤 드롭, QR 코드, LAN 모드를 지원하며 macOS, Windows, Linux에서 모두 사용 가능합니다.

AI 에이전트 가드레일 (Guardrails), 프롬프트 인젝션 (Prompt Injection) 및 AI 기반 워크플로우 자동화

AI 에이전트의 보안을 강화하기 위한 가드레일 기술과 프롬프트 인젝션 취약점을 다룹니다. 위험한 명령어를 실행 전 차단하는 fail-closed 방식의 gate.cat과 GitHub 에이전트의 데이터 유출 취약점인 GitLost 사례를 소개합니다.

양자화된 Diffusion 추론, 셀프 호스팅 AI 에이전트 및 LLM 비용 최적화

Diffusion 모델의 VRAM 사용량을 줄이는 Nunchaku 4-bit 양자화 기술과 Claude Cowork를 Windows/Linux 환경에서 로컬로 실행하는 가이드를 소개합니다. 이를 통해 소비자용 하드웨어에서도 고성능 AI 모델과 에이전트를 효율적으로 배포하고 최적화할 수 있습니다.

Claude Opus/Sonnet 음성 모드, 오픈 웨이트 (Open-Weight) 모델 비용 절감, & GitHub AI 에이전트 보안

Anthropic의 Claude Opus 및 Sonnet 모델에 음성 모드가 확장되어 고도화된 멀티모달 상호작용이 가능해졌습니다. 또한 오픈 웨이트 모델을 활용해 비용을 1/3로 절감하는 Echo 프로젝트와 GitHub AI 에이전트 보안 이슈를 다룹니다.

Self-Healing Playwright: AI를 활용한 로케이터 힐링 (Locator-healing) 래퍼 구축 (Part 1)

Playwright 테스트 중 로케이터 변경으로 인한 실패를 방지하기 위해 AI 기반의 Self-Healing 래퍼를 구축하는 프로젝트를 소개합니다. 기존 셀렉터가 실패할 경우 우선순위에 따라 대안 전략을 시도하여 테스트의 안정성을 높입니다.