오늘, LangSmith Bring Your Own Cloud (BYOC)가 Amazon Web Services (AWS)에서 일반 사용 가능하게 되었습니다.
BYOC는 기업들에게 자체 AWS 계정과 VPC 내에서 운영되는 관리형 LangSmith 배포를 제공합니다. 트레이스(traces), 데이터셋(datasets), 실험(experiments), 프롬프트(prompts), 에이전트 배포(agent deployments) 및 샌드박스 데이터 등 민감한 애플리케이션 데이터는 고객의 AWS 환경 내에 유지됩니다. LangChain이 모니터링, 업그레이드, 스케일링 및 클러스터 수명 주기 관리를 포함하여 배포 전체를 프로비저닝하고 운영합니다.
AI 에이전트를 파일럿 단계에서 프로덕션으로 가져가는 팀들에게 이는 흔한 장애물을 제거해 줍니다. 에이전트 트레이스 및 런타임 데이터에는 PII(개인 식별 정보), PHI(보호 대상 건강 정보), 고객 기록, 내부 API 응답, 도구 출력 및 기타 민감한 컨텍스트가 포함되는 경우가 많습니다. 이러한 팀들은 LangSmith의 관측 가능성(observability), 평가(evaluation), 배포 및 관리 기능을 필요로 하지만, 이미 자체적으로 통제하는 클라우드 경계 내에 데이터를 유지해야 할 필요도 있습니다.
AWS에서 BYOC를 사용하면 고객은 다음을 수행할 수 있습니다:
- 민감한 LangSmith 데이터를 자체 AWS 계정과 VPC에 보관합니다.
- 인프라 관리 시간을 줄이고 에이전트 구축, 평가 및 개선에 더 많은 시간을 할애합니다.
- 에이전트를 사설 시스템과 가깝게 유지하면서 팀 및 지역 전반에 걸쳐 에이전트 개발을 확장할 수 있습니다.
BYOC는 미국, EU, APAC의 15개 AWS 리전에서 Enterprise 고객에게 제공됩니다.
귀사의 조직에 BYOC를 활성화하려면 문의해 주십시오.
BYOC를 구축한 이유
팀들은 보안, 규정 준수 및 운영 요구 사항에 따라 다양한 방식으로 LangSmith를 채택합니다.
관리형 SaaS 배포가 조직의 데이터 및 네트워크 요구 사항에 적합할 때, LangSmith Cloud는 시작하는 가장 빠른 방법으로 남아 있습니다. 자체 호스팅(Self-hosted) LangSmith는 팀들에게 플랫폼을 자체 환경에서 배포하고 운영하는 방법에 대한 완전한 통제권을 제공합니다. 하지만 이러한 통제권은 실제적인 운영 책임이 수반됩니다.
자체 호스팅 배포는 데이터베이스 크기 조정 및 유지 관리, 쿠버네티스(Kubernetes) 관리, 네트워킹 구성, 업그레이드 적용, 신뢰성 모니터링, 백업 처리, 그리고 시간이 지남에 따른 배포 지원을 위해 전용 인프라 지원이 필요합니다. 기업 전체에 걸쳐 에이전트를 확장하는 팀에게 이러한 운영 모델은 비용을 추가하고 에이전트 워크로드(agent workloads)를 배포하고 개선하는 데 필요한 시간을 소모시킵니다.
LangSmith BYOC는 자체 호스팅 배포가 제공하는 데이터 거주지(data residency)와 네트워크 격리성을 가지면서도, 관리형 서비스의 운영 경험을 원하는 팀을 위해 설계되었습니다. 고객이 AWS 계정, VPC, 데이터베이스, 객체 스토리지 및 민감한 애플리케이션 데이터를 소유합니다. LangChain은 고객을 대신하여 LangSmith 배포를 운영합니다.
이 모델은 금융 서비스, 헬스케어, 사이버 보안 등 규제가 엄격하거나 보안에 민감한 환경, 그리고 엄격한 데이터 거버넌스(data governance) 요구 사항을 가진 대기업의 팀에게 특히 유용합니다.
고객의 AWS 경계 내 관리형 LangSmith 배포
BYOC 배포는 두 개의 평면(plane)에 걸쳐 실행됩니다.
제어 평면은 LangChain 클라우드에서 실행됩니다. 인증, 사용자 관리, 조직 및 워크스페이스 구성, 청구 및 사용 메타데이터, 그리고 LangSmith 프런트엔드를 처리합니다. 또한 고객 데이터 평면을 프로비저닝(provision), 모니터링 및 오케스트레이션(orchestrate)합니다. 제어 평면은 민감한 애플리케이션 데이터를 보유하지 않습니다.
데이터 평면은 고객의 AWS 계정에서 실행됩니다. 여기에는 VPC, 사설 Amazon Elastic Kubernetes Service (EKS) 클러스터, 데이터베이스, 객체 스토리지 및 민감한 LangSmith 데이터가 포함됩니다. 여기에는 트레이스(traces), 프롬프트(prompts), 데이터셋(datasets), 실험(experiments), 평가자(evaluators), Insights 실행, 주석 큐(annotation queues), 에이전트 배포, 샌드박스 및 기타 런타임 데이터가 포함됩니다.
제어 평면과 데이터 평면 간의 통신은 AWS PrivateLink를 사용하며 공용 인터넷을 거치지 않습니다.
관리 경로(management path)는 고객 클러스터의 Kubernetes API 서버만 노출하며, LangChain의 제어 평면(control plane)은 이를 사용하여 고객 데이터 평면(data planes)에 LangSmith 구성 요소를 설치하고 조정합니다. 런타임 경로(runtime path)는 데이터 평면이 인증, 작업 공간 설정(workspace configuration), 원격 측정(telemetry), 및 청구 메타데이터를 위해 제어 평면을 호출할 수 있도록 합니다. Amazon EKS 클러스터는 사설이며, 공개 API 서버 엔드포인트나 워커 노드의 공개 IP가 없습니다.
__wf_reserved_inherit
BYOC가 제공하는 이점
BYOC는 팀이 자체 AWS 환경의 데이터 평면에서 에이전트를 추적(trace), 평가(evaluate), 배포(deploy) 및 프로덕션 환경에서 관리하는 데 필요한 LangSmith 기능을 제공하며, LangChain은 팀과 지역 전반에 걸쳐 확장하는 데 필요한 운영 작업을 처리합니다.
데이터는 고객 계정에 유지됩니다. 민감한 애플리케이션 데이터는 고객이 선택한 리전의 AWS 계정에 저장됩니다. LangChain은 트레이스(traces), 데이터셋(datasets), 프롬프트(prompts), 실험(experiments) 또는 배포 데이터를 LangChain 네트워크로 이동시키지 않고도 플랫폼을 운영할 수 있습니다.
에이전트가 사설 시스템에 접근할 수 있습니다. 데이터 평면이 고객의 VPC 내에서 실행되기 때문에, 에이전트와 샌드박스는 기존 네트워크 경로를 통해 내부 데이터베이스, 사설 API 및 온프레미스 시스템에 연결할 수 있습니다.
플랫폼 배포를 처음부터 구축하는 것보다 설정이 빠릅니다. 고객은 프로비저닝에 LangChain이 사용하는 IAM 역할을 생성하기 위해 Terraform 모듈을 적용한 다음, LangSmith에서 데이터 평면을 만듭니다. LangChain이 VPC, Amazon EKS 클러스터, 데이터베이스, 스토리지, 인그레스(ingress), 및 인클러스터 서비스(in-cluster services)를 프로비저닝합니다.
LangChain이 운영 수명 주기를 관리합니다. LangChain은 인프라 업그레이드, LangSmith 버전 업그레이드, 스케일링(scaling), 패치(patching), 백업 및 상태 모니터링을 처리합니다. 고객 엔지니어링 팀은 LangSmith 스택을 운영하는 대신 에이전트 구축 및 개선에 집중할 수 있습니다.
아키텍처는 팀과 리전 전반에 걸쳐 확장됩니다. 추가 데이터 플레인(data plane)을 환경, AWS 계정 및 리전 전반에 생성할 수 있습니다. 사용자 및 역할과 같은 조직 수준 구성(Organization-level configuration)은 배포 전반에 걸쳐 유지되므로, 팀들은 모든 그룹마다 별도의 운영 모델을 만들 필요 없이 LangSmith 도입을 확장할 수 있습니다.
운영 접근 방식은 감사 가능합니다. 긴급 지원은 명시적이고 고객이 승인한 접근 패턴을 사용합니다. LangSmith 감사 로그는 데이터 플레인에 저장되며, Amazon EKS 감사 로그는 고객 계정의 Amazon CloudWatch로 전송되고, VPC 흐름 로그(VPC flow logs)는 고객 소유의 Amazon Simple Storage Service (Amazon S3) 버킷에 저장됩니다.
고객들은 이미 엄격한 데이터 및 보안 요구 사항을 가진 AWS 환경에서 프로덕션 에이전트 워크로드로 LangSmith를 가져오기 위해 BYOC를 사용하고 있습니다.
저희 파트너들은 저희가 그들의 데이터를 보호해 줄 것이라고 신뢰하며, 저희는 이 책임을 매우 심각하게 받아들입니다. 이것이 바로 저희가 LangChain 및 AWS와 협력하여 BYOC를 통해 LangSmith를 사용하는 이유입니다. 이는 민감한 데이터를 자체의 고도로 안전한 환경에 유지하면서 AI 에이전트를 구축하고 개선하는 데 필요한 관측 가능성 도구(observability tooling)를 우리 팀에게 제공합니다.
-Rishabh Jain, Cofounder, Latent Health
표준화된 AWS 아키텍처 기반으로 구축됨
모든 BYOC 데이터 플레인은 LangChain이 LangSmith Cloud를 실행하는 데 사용하는 것과 유사한 표준화된 아키텍처에서 프로비저닝됩니다.
각 배포에는 다음이 포함됩니다:
- 고객의 AWS 계정 내 전용 VPC (Virtual Private Cloud)
- 공개 API 서버 엔드포인트가 없는 사설 Amazon EKS 클러스터
- 공인 IP가 없는 워커 노드(Worker nodes)
- 사설 로드 밸런서(Private load balancer)
- LangChain BYOC 도메인에 구성된 DNS 및 인그레스(Ingress)
- 고객 계정의 Amazon S3로 작성되는 Amazon RDS 및 트레이스 스토어(trace store)의 일일 백업
- LangSmith 서비스 및 노드 용량에 대한 자동 확장(Autoscaling)
- 자동 장애 조치(automatic failover)가 적용된 Multi-AZ Amazon RDS 및 Amazon ElastiCache
LangChain은 Crossplane을 사용하여 데이터 플레인(data plane)을 프로비저닝하고 조정합니다. 고객은 제공된 Terraform 모듈로 IAM 역할을 생성하며, Crossplane은 이 역할을 가정하여 고객 계정 내에 인프라를 생성하고 관리합니다.
이 역할은 인프라 관리에 한정됩니다. AWS가 지원하는 모든 영역에서 권한은 managed_by=langsmith 태그와 특정 이름 접두사(name prefixes)를 가진 리소스로 제한됩니다. 이 역할에는 트레이스 버킷에 대한 s3:GetObject, PostgreSQL에 대한 rds-db:connect, 또는 Redis에 대한 elasticache:Connect와 같은 데이터 읽기 권한은 포함되지 않습니다.
__wf_reserved_inherit
BYOC에서 사용 가능한 LangSmith 기능
대부분의 LangSmith 기능은 현재 BYOC(Bring Your Own Cloud) 환경에서 사용할 수 있으며, 여기에는 팀이 에이전트를 구축, 평가, 배포 및 운영하는 데 사용하는 핵심 워크플로우가 포함됩니다.
오늘 이용 가능:
관측성 (Observability): 트레이싱(tracing), 프로젝트(projects), 대시보드(dashboards), 알림(alerts)
평가 (Evaluation): 데이터셋(datasets), 실험(experiments), 평가자(evaluators), 주석 큐(annotation queues)
인사이트 (Insights): 사용 패턴, 반복되는 동작 및 실패 모드를 파악하기 위한 트레이스 자동 분석
Context Hub: 프롬프트(prompts), 메모리(memory) 및 기타 컨텍스트 파일
LangSmith 배포 (Deployment): 고객 데이터 플레인 내에서 에이전트 배포 및 관리
샌드박스 (Sandboxes): 고객 계정의 전용 노드 그룹에서 코드 실행 및 파일 시스템 작업
LLM 게이트웨이 (Gateway): 중앙 집중식 지출, 속도 제한 및 데이터 보호 정책을 통해 단일 LangSmith API 키로 모델 접근
플릿 (Fleet): 코딩 없이 에이전트 구축 및 실행
SmithDB: 고객 계정의 Amazon S3에 영구 저장되는 트레이스 데이터를 위한 LangChain의 관측성 백엔드
Managed Deep Agents, LLM 인증 프록시(auth proxy), 그리고 Engine도 이제 BYOC를 지원합니다.
시작하기
BYOC는 LangSmith Enterprise 플랜을 사용하는 고객에게 AWS에서 이용 가능합니다.
시작하려면 조직에 대한 BYOC 논의를 위해 문의하거나 자세한 내용은 문서를 참조하십시오.
