에이전트형 앱 (agentic apps)을 위한 AI 네이티브 프록시 서버 및 데이터 플레인 (data plane).

Plano는 반복적인 배관 작업 (plumbing work)을 제거하고 취약한 프레임워크 추상화로부터 사용자를 분리하여, 모든 코드베이스에서 맞춤형으로 제작되어서는 안 되는 요소들—예를 들어 에이전트 라우팅 (agent routing) 및 오케스트레이션 (orchestration), 지속적인 개선을 위한 풍부한 에이전트 신호 (agentic signals) 및 트레이스 (traces), 안전과 중재를 위한 가드레일 필터 (guardrail filters), 그리고 모델 민첩성을 위한 스마트 LLM 라우팅 API 등—을 중앙 집중화합니다. 어떤 언어나 AI 프레임워크를 사용하더라도 에이전트를 프로덕션 환경에 더 빠르게 배포할 수 있습니다.

빠른 시작 가이드 (Quickstart Guide) • Plano로 에이전트형 앱 구축하기 • 문서 (Documentation) • 문의 (Contact)

Plano가 유용하다고 생각된다면 저장소에 별 (Star ⭐️)을 눌러주세요 — 새로운 릴리스와 업데이트가 이곳에 가장 먼저 게시됩니다.

에이전트형 데모를 만드는 것은 쉽습니다. 하지만 에이전트형 애플리케이션을 안전하고, 신뢰할 수 있으며, 반복 가능하게 프로덕션으로 출시하는 것은 어렵습니다. 빠른 해킹의 짜릿함이 지나고 나면, 프로덕션에 도달하기 위해 다음과 같은 "숨겨진 미들웨어 (hidden middleware)"를 구축하게 됩니다: 적절한 에이전트에 도달하기 위한 라우팅 로직 (routing logic), 안전과 중재를 위한 가드레일 훅 (guardrail hooks), 지속적인 학습을 위한 평가 및 관찰 가능성 (observability) 접착제, 그리고 프레임워크와 애플리케이션 코드 전반에 흩어져 있는 모델/제공업체(provider)의 특이 사항들입니다.

Plano는 핵심 전달 사항들을 통합된 프로세스 외 데이터 플레인 (out-of-process dataplane)으로 이동시킴으로써 이 문제를 해결합니다.

🚦 오케스트레이션 (Orchestration): 에이전트 간의 저지연 오케스트레이션; 앱 코드를 수정하지 않고도 새로운 에이전트 추가 가능.
🔗 모델 민첩성 (Model Agility): 모델 이름, 별칭 (의미론적 이름) 또는 선호도에 따라 자동으로 라우팅.
🕵 에이전트 신호 (Agentic Signals™): 모든 에이전트에 걸쳐 코드 작성 없이 신호 (Signals) 및 OTEL 트레이스/메트릭 (traces/metrics) 캡처.
🛡️ 중재 및 메모리 훅 (Moderation & Memory Hooks): 필터 체인 (Filter Chains)을 통해 탈옥 방지 (jailbreak protection)를 구축하고, 중재 정책 및 메모리를 일관되게 추가.

Plano는 프레임워크에서 반복적인 배관 작업을 추출하여 사용자가 가장 중요한 것, 즉 에이전트형 애플리케이션의 핵심 제품 로직에 집중할 수 있도록 합니다. Plano는 업계 선두의 LLM 연구를 지원받으며, 현대적인 워크로드(workloads)를 위해 대규모 핵심 인프라를 구축했던 핵심 기여자들에 의해 Envoy를 기반으로 제작되었습니다.

상위 수준 네트워크 시퀀스 다이어그램 (High-Level Network Sequence Diagram):

문서로 이동하기를 통해 Plano를 사용하여 에이전트 기반 애플리케이션 (agentic applications)의 속도, 안전성 및 관찰 가능성 (observability)을 개선하는 방법을 알아보세요.

중요 사항

Plano와 Plano 제품군 LLM (예: Plano-Orchestrator)은 Plano의 훌륭한 초기 개발자 경험을 제공하기 위해 미국 중부 (US-central) 리전에서 무료로 호스팅됩니다. 규모를 확장하고 프로덕션 (production) 환경에서 실행하려면, 이러한 LLM을 로컬에서 실행하거나 Discord를 통해 저희에게 연락하여 API 키를 요청할 수 있습니다.

Plano는 **오케스트레이션 (orchestration), 모델 관리 (model management), 관찰 가능성 (observability)**을 모듈형 빌딩 블록으로 처리합니다. 이를 통해 기존 아키텍처에 깔끔하게 통합될 수 있도록 필요한 부분만 구성할 수 있습니다 (에이전트 오케스트레이션 및 가드레일 (guardrails)을 위한 에지 프록싱 (edge proxying), 또는 서비스로부터의 LLM 라우팅 (routing), 혹은 이 두 가지 모두).

아래는 Plano로 구축된 간단한 멀티 에이전트 여행사 (multi-agent travel agent) 예시로, 세 가지 핵심 기능을 모두 보여줍니다.

📁

전체 작동 코드: 로컬에서 실행 가능한 완전한 날씨 및 항공 에이전트를 보려면 demos/agent_orchestration/travel_agents/를 확인하세요.

# config.yaml
version: v0.3.0
# 선언 사항: 에이전트 URL 및 자연어 설명
...

여러분의 에이전트는 OpenAI 호환 채팅 완성 (chat completions) 엔드포인트를 구현하는 단순한 HTTP 서버입니다. 어떤 언어나 프레임워크든 사용하세요:

# weather_agent.py
from fastapi import FastAPI, Request
from fastapi.responses import StreamingResponse
...

사전 요구 사항 (Prerequisites): Plano를 설치하고 환경을 설정하려면 사전 요구 사항 가이드를 따르세요.

# Plano 시작
planoai up config.yaml
...
...

모든 요청은 OpenTelemetry를 통해 엔드 투 엔드 (end-to-end)로 추적되며, 별도의 계측 (instrumentation) 코드가 필요하지 않습니다.

효율적인 이유: Plano는 라우팅을 위해 무거운 프레임워크나 GPT-4 대신, 목적에 맞게 설계된 경량 LLM(예: 당사의 4B 파라미터 오케스트레이터)을 사용합니다. 이를 통해 훨씬 적은 비용과 지연 시간 (latency)으로 프로덕션급 라우팅을 제공합니다.

저희와 연락하고 싶으시다면, Discord 서버에 참여해 주세요. 저희는 해당 채널을 적극적으로 모니터링하며 그곳에서 지원을 제공하고 있습니다.

Plano를 사용해 볼 준비가 되셨나요? 당사의 포괄적인 문서를 확인해 보세요:

Quickstart Guide - 몇 분 안에 시작하기
LLM Routing - 모델 이름, 별칭(alias) 또는 지능형 선호도에 따른 라우팅
Agent Orchestration - 멀티 에이전트 워크플로우 구축
Filter Chains - 가드레일 (guardrails), 모더레이션 (moderation) 및 메모리 훅 (memory hooks) 추가
Prompt Targets - 프롬프트를 결정론적 (deterministic) API 호출로 변환
Observability - 추적 (traces), 메트릭 (metrics) 및 로그

저희의 로드맵 (Roadmap)에 대한 피드백을 환영하며, Plano에 대한 기여 (contributions)도 언제든 환영합니다! 버그 수정, 새로운 기능 추가, 문서 개선 또는 튜토리얼 제작 등 여러분의 도움은 매우 소중합니다. 자세한 내용은 기여 가이드 (Contribution Guide)를 방문해 주세요.

Plano가 유용하다고 생각하신다면 저장소에 별 (Star ⭐️)을 눌러주세요. 새로운 릴리스와 업데이트가 이곳에 가장 먼저 올라옵니다.