Show HN: ArchGW – 에이전트를 위한 지능형 엣지 및 서비스 프록시

에이전트 기반 앱 (agentic apps)을 위한 AI 네이티브 프록시 서버 및 데이터 플레인 (data plane).

Plano는 반복적인 배관 작업 (plumbing work)을 제거하고 취약한 프레임워크 추상화 (framework abstractions)로부터 사용자를 분리하여, 모든 코드베이스에서 맞춤형으로 제작될 필요가 없는 요소들—예를 들어 에이전트 라우팅 (agent routing) 및 오케스트레이션 (orchestration), 지속적인 개선을 위한 풍부한 에이전트 신호 (agentic signals) 및 트레이스 (traces), 안전과 중재를 위한 가드레일 필터 (guardrail filters), 그리고 모델 민첩성을 위한 스마트 LLM 라우팅 API—를 중앙 집중화합니다. 어떤 언어나 AI 프레임워크든 사용하여 에이전트를 프로덕션 환경에 더 빠르게 배포하세요.

Quickstart Guide • Plano로 에이전트 기반 앱 구축하기 • Documentation • Contact

Plano가 유용하다고 생각되면 저장소에 Star ⭐️를 눌러주세요 — 새로운 릴리스와 업데이트가 이곳에 가장 먼저 올라옵니다.

에이전트 기반 데모를 만드는 것은 쉽습니다. 하지만 에이전트 기반 애플리케이션을 안전하고, 신뢰할 수 있으며, 반복 가능하게 프로덕션으로 출시하는 것은 어렵습니다. 빠른 해킹 (quick hack)의 스릴이 지나고 나면, 결국 프로덕션에 도달하기 위해 다음과 같은 "숨겨진 미들웨어 (hidden middleware)"를 구축하게 됩니다: 적절한 에이전트에 도달하기 위한 라우팅 로직 (routing logic), 안전과 중재를 위한 가드레일 훅 (guardrail hooks), 지속적인 학습을 위한 평가 및 관측성 (observability) 접착제, 그리고 프레임워크와 애플리케이션 코드 전반에 흩어져 있는 모델/제공자 (model/provider)의 특이 사항들입니다.

Plano는 핵심 전달 사항 (delivery concerns)을 통합된 프로세스 외 데이터 플레인 (out-of-process dataplane)으로 이동함으로써 이 문제를 해결합니다.

🚦 오케스트레이션 (Orchestration): 에이전트 간의 저지연 오케스트레이션; 앱 코드를 수정하지 않고도 새로운 에이전트 추가 가능.
🔗 모델 민첩성 (Model Agility): 모델 이름, 별칭 (semantic names) 또는 선호도에 따라 자동으로 라우팅.
🕵 Agentic Signals™: 모든 에이전트에 걸쳐 코드 작성 없이 신호 (Signals) 및 OTEL 트레이스/메트릭 (traces/metrics) 캡처.
🛡️ 중재 및 메모리 훅 (Moderation & Memory Hooks): 필터 체인 (Filter Chains)을 통해 탈옥 방지 (jailbreak protection)를 구축하고, 중재 정책 및 메모리를 일관되게 추가.

Plano는 프레임워크에서 반복적인 배관 작업을 추출하여 사용자가 가장 중요한 것, 즉 에이전트 기반 애플리케이션의 핵심 제품 로직에 집중할 수 있도록 합니다. Plano는 업계 선두의 LLM 연구를 기반으로 하며, 현대적인 워크로드 (workloads)를 위해 대규모 핵심 인프라를 구축했던 핵심 기여자들에 의해 Envoy를 기반으로 제작되었습니다.

High-Level Network Sequence Diagram:

저희 문서로 이동하여 Plano를 사용하여 에이전트 기반 애플리케이션 (agentic applications)의 속도, 안전성 및 관측성 (observability)을 어떻게 향상시킬 수 있는지 알아보세요.

중요 사항

Plano와 Plano LLM 제품군 (Plano-Orchestrator와 같은)은 Plano에 대한 훌륭한 첫 실행 개발자 경험을 제공하기 위해 US-central 리전에서 무료로 호스팅됩니다. 확장 및 프로덕션 (production) 환경에서 실행하려면, 이러한 LLM을 로컬에서 실행하거나 Discord를 통해 저희에게 연락하여 API 키를 받으실 수 있습니다.

Plano는 **오케스트레이션 (orchestration), 모델 관리 (model management), 및 관측성 (observability)**을 모듈형 빌딩 블록으로 처리하여, 기존 아키텍처에 깔끔하게 맞도록 필요한 기능만 구성할 수 있게 합니다 (에이전트 오케스트레이션 및 가드레일 (guardrails)을 위한 엣지 프록시 (edge proxying), 또는 서비스로부터의 LLM 라우팅 (routing), 또는 이 둘 모두).

아래는 세 가지 핵심 기능을 모두 보여주는 Plano로 구축된 간단한 멀티 에이전트 여행 에이전트입니다.

📁

전체 작동 코드: 로컬에서 실행할 수 있는 완전한 날씨 및 항공 에이전트는 demos/agent_orchestration/travel_agents/를 참조하세요.

# config.yaml
version: v0.3.0
# 선언 사항: 에이전트 URL 및 자연어 설명
...

여러분의 에이전트는 OpenAI 호환 채팅 완료 (chat completions) 엔드포인트를 구현하는 HTTP 서버일 뿐입니다. 어떤 언어나 프레임워크든 사용하세요:

# weather_agent.py
from fastapi import FastAPI, Request
from fastapi.responses import StreamingResponse
...

사전 요구 사항: Plano를 설치하고 환경을 설정하려면 사전 요구 사항 가이드를 따르세요.

# Plano 시작
planoai up config.yaml
...
...

모든 요청은 OpenTelemetry를 통해 엔드 투 엔드 (end-to-end)로 추적되며, 별도의 계측 (instrumentation) 코드가 필요하지 않습니다.

인프라 관련 사항	Plano 미사용 시	Plano 사용 시
에이전트 오케스트레이션 (Agent Orchestration)	의도 분류기 (intent classifier) 및 라우팅 로직 작성	YAML에 에이전트 설명 선언
모델 관리 (Model Management)	각 제공업체의 API 특이사항 처리	상태 관리 (state management) 기능이 포함된 통합 LLM API
풍부한 트레이싱 (Rich Tracing)	모든 서비스에 OTEL 계측 (instrumentation) 적용	자동화된 엔드 투 엔드 (end-to-end) 트레이스 및 로그
학습 신호 (Learning Signals)	스팬 (spans) 캡처 및 내보내기를 위한 파이프라인 구축	코드 수정이 필요 없는 (Zero-code) 에이전트 신호
에이전트 추가	라우팅 코드 업데이트, 테스트, 재배포	설정에 추가 후 재시작

효율적인 이유: Plano는 라우팅을 위해 무거운 프레임워크나 GPT-4 대신, 목적에 맞게 설계된 경량 LLM (예: 당사의 4B-parameter 오케스트레이터)을 사용합니다. 이를 통해 훨씬 적은 비용과 지연 시간 (latency)으로 프로덕션급 라우팅을 제공합니다.

저희와 연락하려면 Discord 서버에 참여해 주세요. 저희는 해당 채널을 적극적으로 모니터링하며 그곳에서 지원을 제공합니다.

Plano를 사용해 볼 준비가 되셨나요? 당사의 종합 문서를 확인해 보세요:

Quickstart Guide - 몇 분 안에 시작할 수 있습니다
LLM Routing - 모델 이름, 별칭(alias) 또는 지능형 선호도에 따라 라우팅합니다
Agent Orchestration - 멀티 에이전트 워크플로우를 구축합니다
Filter Chains - 가드레일 (guardrails), 모더레이션 (moderation) 및 메모리 훅 (memory hooks)을 추가합니다
Prompt Targets - 프롬프트를 결정론적 (deterministic) API 호출로 변환합니다
Observability - 트레이스 (traces), 메트릭 (metrics) 및 로그 (logs)

저희의 로드맵 (Roadmap)에 대한 피드백을 환영하며, Plano에 대한 기여도 언제나 환영합니다! 버그 수정, 새로운 기능 추가, 문서 개선 또는 튜토리얼 제작 등 여러분의 도움은 매우 소중합니다. 자세한 내용은 기여 가이드 (Contribution Guide)를 방문해 주세요.

Plano가 유용하다고 생각하신다면 저장소에 별 (Star ⭐️)을 눌러주세요 — 새로운 릴리스와 업데이트가 이곳에 가장 먼저 올라옵니다.