Show HN: archgw: Envoy를 기반으로 구축된 AI 에이전트를 위한 오픈 소스 지능형 프록시

에이전트 기반 앱 (agentic apps)을 위한 AI 네이티브 프록시 서버 및 데이터 플레인 (data plane).

Plano는 반복적인 배관 작업 (plumbing work)을 제거하고 취약한 프레임워크 추상화로부터 사용자를 분리하여, 모든 코드베이스에서 맞춤형으로 제작되어서는 안 되는 요소들—예를 들어 에이전트 라우팅 (agent routing) 및 오케스트레이션 (orchestration), 지속적인 개선을 위한 풍부한 에이전트 신호 (agentic signals) 및 트레이스 (traces), 안전과 중재를 위한 가드레일 (guardrail) 필터, 그리고 모델 민첩성을 위한 스마트 LLM 라우팅 API—를 중앙 집중화합니다. 어떤 언어나 AI 프레임워크든 사용하여 에이전트를 프로덕션 환경에 더 빠르게 배포하세요.

Quickstart Guide • Plano로 에이전트 기반 앱 구축하기 • Documentation • Contact

Plano가 유용하다고 생각된다면 저장소에 Star ⭐️를 눌러주세요 — 새로운 릴리스와 업데이트가 이곳에 가장 먼저 올라옵니다.

에이전트 기반 데모를 만드는 것은 쉽습니다. 하지만 에이전트 기반 애플리케이션을 안전하고, 신뢰할 수 있으며, 반복 가능하게 프로덕션으로 출시하는 것은 어렵습니다. 빠른 해킹의 스릴이 지나고 나면, 프로덕션에 도달하기 위해 다음과 같은 "숨겨진 미들웨어 (hidden middleware)"를 구축하게 됩니다: 적절한 에이전트에 도달하기 위한 라우팅 로직 (routing logic), 안전과 중재를 위한 가드레일 훅 (guardrail hooks), 지속적인 학습을 위한 평가 및 관측성 (observability) 접착제, 그리고 프레임워크와 애플리케이션 코드 전반에 흩어져 있는 모델/제공자 (model/provider)의 특이 사항들입니다.

Plano는 핵심 전달 사항들을 통합된 프로세스 외 데이터 플레인 (out-of-process dataplane)으로 이동시킴으로써 이 문제를 해결합니다.

🚦 오케스트레이션 (Orchestration): 에이전트 간의 저지연 오케스트레이션; 앱 코드를 수정하지 않고도 새로운 에이전트 추가 가능.
🔗 모델 민첩성 (Model Agility): 모델 이름, 별칭 (의미론적 이름) 또는 선호도에 따라 자동으로 라우팅.
🕵 Agentic Signals™: 모든 에이전트에 걸쳐 코드 작성 없이 신호 (Signals) 및 OTEL 트레이스/메트릭 (traces/metrics) 캡처.
🛡️ 중재 및 메모리 훅 (Moderation & Memory Hooks): 필터 체인 (Filter Chains)을 통해 탈옥 방지 (jailbreak protection)를 구축하고, 중재 정책 및 메모리를 일관되게 추가.

Plano는 프레임워크에서 반복적인 배관 작업을 추출하여 사용자가 가장 중요한 것, 즉 에이전트 기반 애플리케이션의 핵심 제품 로직에 집중할 수 있도록 합니다. Plano는 업계 선두의 LLM 연구를 지원받으며, 현대적인 워크로드에 대해 대규모 핵심 인프라를 구축했던 핵심 기여자들에 의해 Envoy를 기반으로 구축되었습니다.

High-Level Network Sequence Diagram:

문서 바로가기를 통해 Plano를 사용하여 에이전트 기반 애플리케이션 (agentic applications)의 속도, 안전성 및 관찰성 (observability)을 개선하는 방법을 알아보세요.

중요 사항

Plano와 Plano LLM 제품군 (Plano-Orchestrator 등)은 Plano의 훌륭한 첫 개발 경험을 제공하기 위해 US-central 지역에서 무료로 호스팅됩니다. 확장 및 프로덕션 환경에서 실행하려면, 이러한 LLM을 로컬에서 실행하거나 Discord를 통해 저희에게 연락하여 API 키를 받으실 수 있습니다.

Plano는 **오케스트레이션 (orchestration), 모델 관리 (model management), 관찰성 (observability)**을 모듈형 빌딩 블록으로 처리하여, 기존 아키텍처에 깔끔하게 맞도록 필요한 부분만 구성할 수 있게 합니다 (에이전트 오케스트레이션 및 가드레일 (guardrails)을 위한 엣지 프록싱 (edge proxying), 또는 서비스로부터의 LLM 라우팅 (LLM routing), 또는 이 두 가지 모두).

아래는 Plano로 구축된 간단한 멀티 에이전트 여행 에이전트(multi-agent travel agent)로, 세 가지 핵심 기능을 모두 보여줍니다.

📁

전체 작동 코드: 로컬에서 실행 가능한 완전한 날씨 및 항공 에이전트는 demos/agent_orchestration/travel_agents/를 참조하세요.

# config.yaml
version: v0.3.0
# 선언 내용: 에이전트 URL 및 자연어 설명
...

여러분의 에이전트는 OpenAI 호환 채팅 완료 (chat completions) 엔드포인트를 구현하는 HTTP 서버일 뿐입니다. 어떤 언어나 프레임워크든 사용하세요:

# weather_agent.py
from fastapi import FastAPI, Request
from fastapi.responses import StreamingResponse
...

사전 요구 사항: Plano를 설치하고 환경을 설정하려면 사전 요구 사항 가이드를 따르세요.

# Plano 시작
planoai up config.yaml
...
...

모든 요청은 OpenTelemetry를 통해 엔드 투 엔드 (end-to-end)로 추적되며, 별도의 계측 (instrumentation) 코드가 필요하지 않습니다.

인프라 관련 사항	Plano 미사용 시	Plano 사용 시
에이전트 오케스트레이션 (Agent Orchestration)	의도 분류기 (intent classifier) 및 라우팅 로직 작성	YAML에 에이전트 설명 선언
모델 관리 (Model Management)	각 제공업체의 API 특이사항 처리	상태 관리 (state management) 기능이 포함된 통합 LLM API
풍부한 추적 (Rich Tracing)	모든 서비스에 OTEL 계측 (instrumentation) 적용	자동화된 엔드 투 엔드 (end-to-end) 추적 및 로그
학습 신호 (Learning Signals)	Span 캡처 및 내보내기를 위한 파이프라인 구축	코드 수정이 필요 없는 (Zero-code) 에이전트 신호
에이전트 추가	라우팅 코드 업데이트, 테스트, 재배포	설정에 추가 후 재시작

효율적인 이유: Plano는 라우팅을 위해 무거운 프레임워크나 GPT-4 대신, 목적에 맞게 설계된 경량 LLM(예: 당사의 4B 파라미터 오케스트레이터)을 사용합니다. 이를 통해 훨씬 적은 비용과 지연 시간 (latency)으로 프로덕션급 라우팅을 제공합니다.

저희와 연락하려면 Discord 서버에 참여해 주세요. 저희는 해당 채널을 적극적으로 모니터링하며 그곳에서 지원을 제공합니다.

Plano를 사용해 볼 준비가 되셨나요? 당사의 종합 문서를 확인해 보세요:

Quickstart Guide - 몇 분 안에 시작할 수 있습니다
LLM Routing - 모델 이름, 별칭(alias) 또는 지능형 선호도에 따라 라우팅합니다
Agent Orchestration - 멀티 에이전트 워크플로우를 구축합니다
Filter Chains - 가드레일 (guardrails), 모더레이션 (moderation) 및 메모리 훅 (memory hooks)을 추가합니다
Prompt Targets - 프롬프트를 결정론적 (deterministic) API 호출로 변환합니다
Observability - 추적 (traces), 메트릭 (metrics) 및 로그 (logs)

저희의 로드맵 (Roadmap)에 대한 피드백을 환영하며, Plano에 대한 기여도 언제나 환영합니다! 버그 수정, 새로운 기능 추가, 문서 개선 또는 튜토리얼 제작 등 여러분의 도움은 매우 소중합니다. 자세한 내용은 기여 가이드 (Contribution Guide)를 방문해 주세요.

Plano가 유용하다고 느끼셨다면 저장소(repo)에 별 (Star) ⭐️를 눌러주세요. 새로운 릴리스와 업데이트가 이곳에 가장 먼저 올라옵니다.