LangSmith LLM Gateway: 에이전트 생명주기에 내장된 런타임 거버넌스 (Governance)

핵심 요약 (Key Takeaways)

LLM Gateway는 에이전트와 LLM 제공자(LLM providers) 사이에 위치합니다— 이는 요청이 모델에 도달하기 전에 지출 한도를 강제하고 개인정보(PII*)를 삭제하여, 문제를 사후에 로그로 남기는 것에 그치지 않고 근원지에서 차단합니다. 거버넌스(Governance)는 귀하가 이미 작업 중인 곳에 존재합니다— 정책 위반 사항이 LangSmith 내부에서 추적 가능한 이벤트로 나타나므로, 도구를 전환할 필요 없이 차단된 요청에서 트리거된 트레이스(trace)를 확인하고 즉시 수정할 수 있습니다. 설정은 단 한 줄의 변경으로 완료됩니다— base_url을 LangSmith Gateway 엔드포인트로 교체하고, 워크스페이스 비밀(workspace secrets)에 제공자 키를 추가한 뒤, UI에서 정책을 설정하기만 하면 됩니다. 별도의 인프라가 필요하지 않습니다.

오늘 저희는 LangSmith LLM Gateway를 프라이빗 베타(private beta)로 출시합니다. 이는 귀하가 LangSmith에서 에이전트를 구축, 관찰 및 평가하는 바로 그 위치에 존재하는 런타임 거버넌스(runtime governance) 계층입니다.

LangSmith LLM Gateway는 에이전트와 에이전트가 호출하는 LLM 제공자(LLM providers) 사이에 위치합니다. 이는 요청이 모델에 도달하기 전에 비용 한도를 강제하고 민감한 데이터를 삭제합니다. 정책이 실행되면 해당 이벤트는 별도의 대시보드, 감사 로그(audit logs) 또는 도구가 필요 없이 LangSmith로 직접 흐릅니다. 차단된 요청부터 이를 트리거한 트레이스(trace), 그리고 수정 작업까지 모두 하나의 제품 내에서 수행할 수 있습니다.

관찰 가능성(Observability)과 강제 집행(Enforcement) 사이의 간극

실제 사례는 다음과 같습니다. 코딩 에이전트가 밤새 재시도 루프(retry loop)에 빠져, 아침이 되었을 때 10,000번의 LLM 호출을 수행하여 네 자릿수 금액의 청구서를 받게 되는 상황입니다.

고객 지원 에이전트가 사회보장번호(social security number)가 포함된 환불 요청을 처리합니다. 이 번호는 이제 LLM 제공자의 로그, 트레이스(trace) 데이터, 그리고 응답을 소비한 모든 다운스트림(downstream) 시스템에 남아 있게 됩니다.

이것은 예외적인 사례가 아니라, 프로덕션(production) 환경에서 에이전트를 운영할 때 마주하는 일상적인 현실입니다. 관측성 (Observability)은 무엇이 일어났는지를 알려주지만, 이러한 문제들이 발생하기 전에 차단하려면 요청 계층 (request layer)에서 정책을 강제해야 합니다. 지금까지 이 두 가지를 모두 달성하려면 별도의 게이트웨이 (gateway), 가드레일 (guardrails) 플랫폼, 그리고 관측성 스택 (observability stack)을 하나로 엮어야 했으며, 문제가 발생했을 때 이 세 가지 모두에서 신호를 상관 분석 (correlate)하려고 시도해야 했습니다. Agent Gateway는 이 두 가지를 모두 LangSmith 내부로 가져옵니다.

현재 베타 버전에서 제공되는 기능

LLM Gateway는 기업들이 가장 먼저 필요하다고 말한 제어 기능들을 포함하여 출시됩니다:

지출 한도 (Spend limits): 조직, 워크스페이스, 사용자 또는 API 키 수준에서 엄격한 상한선을 설정합니다. 한도에 도달하면 에이전트는 명확한 에러 메시지와 함께 402 응답을 받습니다.

지출 가시성 (Spend visibility): 워크스페이스, 사용자 및 API 키별 실시간 비용 합산 정보를 제공합니다. 더 이상 월말에 예상치 못한 송장을 받는 일은 없습니다.

PII 및 비밀 정보 탐지 (PII and secrets detection): 민감한 데이터는 모델에 도달하거나 트레이스 (trace)에 기록되기 전에 요청과 응답에서 삭제(redacted)됩니다. 에이전트는 계속 실행되며 민감한 데이터는 전파되지 않습니다.

트레이스 연속성 (Trace continuity): 게이트웨이를 거치는 모든 프록시 호출은 에이전트의 나머지 트레이스와 동일한 LangSmith 워크스페이스에 나타납니다. 게이트웨이를 통한 라우팅이 관측성을 파편화하지 않습니다.

LangSmith Engine 통합: 정책 이벤트가 분류 (triage)를 위해 LangSmith Engine에 나타납니다. 제품을 벗어나지 않고도 위반 사항에서 해당 위반을 생성한 트레이스로 바로 클릭하여 이동할 수 있습니다.

감사 로그 (Audit logging): 게이트웨이에서의 모든 관리자 작업이 기록됩니다. 컴플라이언스 (compliance) 및 보안 팀은 별도의 감사 파이프라인을 구축할 필요 없이 완전한 기록을 확보할 수 있습니다.

계층적 강제 (Layered enforcement): 조직, 워크스페이스, 사용자 또는 API 키 수준에서 적용할 수 있어, 정책이 가장 필요한 곳에 집중할 수 있습니다.

의도적으로 단순하게 설계된 설정

LangSmith API 키를 사용하여 에이전트가 LangSmith Gateway 엔드포인트를 가리키도록 설정하세요. 제공자(provider)의 API 키를 워크스페이스 비밀 정보 (secrets)에 추가하세요. LangSmith UI에서 정책을 설정하세요. 설정은 이것이 전부입니다.

base_url만 교체하세요. 코드는 그대로 유지하면 됩니다.

빌드, 관찰, 평가와 동일한 환경에서의 거버넌스 (Governance)

대부분의 거버넌스 (Governance) 도구들은 정책을 위한 별도의 콘솔, 알림을 위한 별도의 대시보드, 조사를 위한 별도의 워크플로우와 같이 각자 고유한 환경에서 설정되고 사용됩니다. 거버넌스가 팀의 주된 관심사라면 이러한 형태가 효과적일 수 있습니다. 하지만 팀이 이미 다른 곳에서 에이전트 (Agent)를 빌드, 관찰, 평가하고 있다면 이는 더 큰 부담이 됩니다.

LLM Gateway는 LangSmith에서 설정됩니다. 차단된 요청은 LangSmith에서 추적 가능한 이벤트 (Event)가 됩니다. 개인정보 (PII)가 포함되어 마스킹(Redacted)된 매칭 결과는 해당 결과를 생성한 정확한 트레이스 (Trace)로 바로 클릭하여 이동할 수 있는 신호가 됩니다. 그곳에서 에이전트가 무엇을 하고 있었는지 확인하고, 시스템 프롬프트 (System Prompt)나 도구 (Tool) 설정을 업데이트하며, 제품을 벗어나지 않고도 기존 테스트 세트 (Test Sets)를 통해 재평가할 수 있습니다.

이미 LangSmith를 사용 중인 팀에게 이는 더 적은 도구, 더 적은 컨텍스트 스위칭 (Context Switching), 그리고 해당 내용을 설명하는 트레이스 데이터 바로 옆에 도착하는 정책 이벤트를 의미합니다. 탐지, 조사, 그리고 조치 (Remediation)가 에이전트가 빌드되는 것과 동일한 환경에서 이루어집니다.

거버넌스가 위치할 곳을 선택하기

에이전트 거버넌스 시장은 빠르게 형성되고 있으며, 오늘날 대부분의 도구는 몇 가지 형태 중 하나에 속합니다:

**네트워크 계층 게이트웨이 (Network-layer gateways)**는 속도 제한 (Rate limiting), 라우팅 (Routing), 트래픽 거버넌스 (Traffic governance)와 같이 강력한 인프라 제어 기능을 제공합니다. LLM 호출을 다른 일반적인 API 트래픽과 동일하게 취급하는 것이 우선순위라면 적합한 선택입니다. 다만, 정책이 실행되었을 때 왜 실행되었는지 디버깅하기 위한 트레이스 컨텍스트 (Trace context)를 얻을 수 없으며, 정책 튜닝이 AI를 인식하지 못한다는 트레이드오프 (Trade-off)가 있습니다. **독립형 가드레일 플랫폼 (Standalone guardrails platforms)**은 종종 소형 평가 모델 (Small evaluation models)을 기반으로 구축된 정교한 평가 및 정책을 제공합니다. 해당 생태계를 엔드투엔드 (End-to-end)로 채택하고 에이전트가 변화함에 따라 모델을 튜닝할 의사가 있다면 적합합니다. 다만, 에이전트, 트레이스 (Traces), 평가 (Evaluations)가 두 곳에 존재하게 되며, 두 번째 관측성 (Observability) 영역을 유지 관리해야 한다는 트레이드오프가 있습니다. **데이터 플랫폼 거버넌스 계층 (Data-platform governance layers)**은 데이터 카탈로그 (Data catalog)나 레이크하우스 (Lakehouse)를 확장하여 AI 워크로드를 커버합니다. 팀이 이미 해당 플랫폼을 사용 중이라면 적합합니다. 다만, 그렇지 않은 경우 이를 채택하는 것은 기능 추가가 아니라 마이그레이션 (Migration)이 된다는 트레이드오프가 있습니다.

LLM Gateway는 에이전트가 실제로 구축되고 실행되는 장소인 에이전트 프레임워크 (Agent framework) 자체에 닻을 내리고 있습니다. 이러한 앵커링 (Anchoring) 덕분에 정책 이벤트가 트레이스, 평가, 대시보드와 동일한 워크스페이스 (Workspace)로 흐를 수 있습니다. 또한, 별도의 미세 조정 (Fine-tuning) 루프를 만들거나 에이전트가 진화함에 따라 정확도를 유지하기 위해 평가 모델을 모니터링할 필요 없이, 실제 운영 중인 에이전트의 동작을 바탕으로 정책을 튜닝할 수 있게 해줍니다.

만약 귀하의 팀 에이전트가 이미 LangSmith에서 운영되고 있다면, 이것은 귀하에게 떠나라고 요구하지 않는 거버넌스 계층입니다.

향후 방향

오늘의 출시 버전은 LLM 호출을 다루지만, 에이전트는 그 이상의 일을 수행합니다. LangSmith Agent Gateway는 필요한 모든 런타임 정책 (Runtime policy)을 위한 중앙 제어 평면 (Control plane)이 되도록 설계되었으며, 다음과 같은 기능들이 준비되어 있습니다:

더욱 심층적인 보안 제어 (Deeper security controls): 개인정보 (PII) 및 비밀 정보 (Secrets) 탐지를 넘어, 에이전트가 외부 모델을 호출하고 운영 시스템 (Production systems)에 접근할 때 발생하는 모든 위험 영역을 포괄합니다.

유연한 강제 적용 (Flexible enforcement): 엄격한 차단 (Hard blocks)을 수행하기 전 단계적인 배포 (Softer rollouts)를 지원하며, 정책이 실행될 때 에이전트가 계속 작동할 수 있도록 모델 폴백 (Model fallbacks) 및 대체 (Substitution) 기능을 제공합니다. 또한, 운영 환경을 중단시키지 않으면서 동작을 조절할 수 있는 속도 제한 (Rate limits) 기능을 제공합니다.

도구 및 MCP 게이트웨이 (Tool and MCP gateways): 동일한 강제 적용 기본 단위 (Enforcement primitives)가 LLM 호출뿐만 아니라 도구 호출 (Tool calls), 에이전트 간 호출 (Agent-to-agent calls), 그리고 MCP 서버 상호작용에도 적용됩니다.

현재 에이전트 거버넌스 (Agent governance)는 대부분 에이전트 시스템 위에 별도로 추가되는 방식입니다. 우리는 이것이 장기적으로 올바른 형태라고 생각하지 않습니다. 에이전트가 구축되고, 관찰되며, 평가되는 바로 그 제품이 에이전트가 실행되는 규칙을 강제해야 합니다. LLM Gateway가 그 시작점입니다.

지금 바로 체험해 보세요

LLM Gateway는 현재 프라이빗 베타 (Private beta)로 제공됩니다. 액세스 권한을 요청하려면 신청해 주세요.