Orange Business가 LangChain과 LangSmith를 활용하여 라이브 인텔리전스를 구축한 방법

Orange Business는 유럽 최대 통신 및 디지털 서비스 기업 중 하나인 Orange Group의 B2B 사업 부문입니다. Live Intelligence는 Orange Business의 주력 AI 플랫폼입니다. 이 플랫폼은 120,000명의 Orange 직원이 사용하고 있으며, 이미 프랑스와 유럽에서 150개 이상의 고객이 도입했습니다.

처음부터 AI 지원 기능을 구축하는 것의 한계

Orange Business가 첫 AI 제품을 개발했을 때, 고객들에게 AI를 활용하여 가치를 창출할 수 있는 안전한 방법을 제공하고자 했습니다.

Live Intelligence Portal을 통해 직원들은 간단한 AI 에이전트를 생성하고 기본적인 API 호출을 트리거할 수 있습니다. 이는 입문 수준의 개인적인 작업에는 유용합니다. 하지만 Orange Business는 다음 단계, 즉 파편화된 엔터프라이즈 시스템 전반에 걸쳐 완전한 비즈니스 프로세스를 오케스트레이션(orchestration) 할 수 있는 에이전트, 누가 무엇에 접근할 수 있는지 관리하는 기능, 그리고 대규모 프로덕션 환경에서 안정적으로 실행되는 에이전트를 구축하고자 했습니다.

하지만 엔터프라이즈급 에이전트에 필요한 오케스트레이션, 배포(deployment), 모니터링(monitoring), 관찰 가능성(observability) 인프라를 자체적으로 구현하려면 1년 이상의 개발 기간이 필요했을 것입니다. Orange Business는 처음부터 구축하는 대신 적절한 기반을 찾기로 했습니다. 이것이 Live Intelligence Studio가 탄생하게 된 배경입니다.

20개 공급업체를 아우르는 오픈 소스 중심 평가

Orange Innovation(Orange Group의 혁신 탐색 부서)은 약 20개의 주요 클라우드 제공업체와 전문 AI 벤더 솔루션을 평가했습니다. 그들은 모델 중립성과 이식성(portability) 때문에 LangChain을 선택했습니다. 이를 통해 팀은 에이전트 아키텍처에 대한 완전한 소유권을 유지하고, 유럽 데이터 주권 요구사항에 맞춰 워크로드를 관리할 수 있게 되었습니다.

평가 및 관찰 가능성의 측면에서 LangSmith가 가장 적합했습니다.* Orange Business의 AI 제품 책임자인 Mathieu Ducrot은

Live Intelligence는 세 가지 구성 요소를 중심으로 구조화되어 있으며, 각 요소는 서로 다른 사용자를 목표로 합니다.

Live Intelligence Studio는 AI 엔지니어와 에이전트 개발자가 복잡하고 교차 시스템적인 워크플로우를 설계하는 환경입니다. 여기에는 LLM-as-a-Service 카탈로그(Orange Business 인프라 및 퍼블릭 클라우드에 호스팅된 모델), LangSmith Fleet 기반의 에이전트 빌더, MCP 지원, LangSmith와 오케스트레이션 도구를 통한 에이전트 관측성 등이 포함됩니다.

Live Intelligence Portal은 비즈니스 최종 사용자를 위한 인터페이스입니다. 여기서는 HR 팀이 직무 기술서를 작성하고, 법률 팀이 NDA 조항을 검토하며, 소프트웨어 팀이 테스트 스크립트를 자동 생성하고, 헬프데스크가 IT 지원 에이전트를 구축합니다. Live Intelligence Studio에서 구축된 워크플로우는 Portal에 직접 배포되어 깔끔하고 통제되는 최종 사용자 경험을 제공할 수 있습니다.

Live Intelligence Console은 엔터프라이즈 관리자에게 가시성과 제어권을 부여합니다. 사용량 모니터링, 성능 추적, 보안 및 규정 준수 정책의 강제가 여기에 해당됩니다.

교차 조직 거버넌스를 위한 에이전트 및 MCP 레지스트리

개별 에이전트를 넘어, Live Intelligence는 이를 단순한 배포와 차별화하는 두 가지 조직적 계층을 추가합니다.

**에이전트 레지스트리(Agent Registry)**는 팀들이 조직 전체에서 에이전트와 프롬프트를 발견하고, 재사용하며, 버전을 관리하고, 거버넌스할 수 있게 합니다. 모든 팀이 동일한 기능을 처음부터 다시 구축하는 대신, 에이전트는 적절한 라이프사이클 관리를 통해 공유 자산이 됩니다. 프롬프트 관리를 위해 Orange는 LangSmith Context Hub를 사용하여 각 환경별로 다른 버전의 프롬프트를 유지합니다. 이를 통해 코드를 변경하지 않고도 프로덕션에 배포하기 전에 프롬프트 변경 사항을 테스트하고 검증할 수 있습니다.

**MCP 레지스트리(MCP Registry)**는 신뢰할 수 있는 도구, 커넥터 및 외부 기능의 중앙 집중식 카탈로그를 제공합니다. 에이전트는 제어되고 감사 가능한 계층을 통해 엔터프라이즈 시스템(Microsoft 365, CRM, 내부 API 및 맞춤형 서비스)에 접근합니다.

이러한 레지스트리들은 비즈니스 로직을 플랫폼 계층으로 가져와 프롬프트 밖에서 처리할 수 있게 하여, 각 팀이 인증(authentication), 보안(security), 거버넌스(governance) 문제를 처음부터 다시 해결할 필요가 없게 합니다.

전체 평가 스택에 걸친 LangSmith

Orange Business는 LangSmith를 기반으로 프로덕션 환경에서 3단계의 평가를 수행합니다.

RAG 품질: 질문-답변 쌍을 포함하는 골든 데이터셋, 예상 소스 문서, 검색 재현율(retrieval recall), 접지 품질(grounding quality), 답변 충실도(answer faithfulness).
에이전트 동작: 도구 선택 정확도(tool selection accuracy), 작업 완료율(task completion rates), 거부 행동(refusal behavior), 프롬프트 주입 공격(prompt injection)에 대한 견고성(robustness), 비즈니스 제약 조건 준수.
프로덕션 추적 모니터링: 지연 시간(latency), 비용(cost), 모델 사용량, 실패한 실행(failed runs), 사용자 피드백(human feedback), 에스컬레이션 사례.

마티유는 “이전에는 에이전트를 디버깅하기 어려웠는데, 실패가 모델 동작 내부에 숨겨져 있었기 때문입니다.”라며, “LangSmith를 사용하면 엔지니어들이 실행의 각 단계를 검사하여 문제가 검색(retrieval)에서 비롯된 것인지, 프롬프트에서 비롯된 것인지, 모델에서 비롯된 것인지, 도구 호출에서 비롯된 것인지, 아니면 비즈니스 로직에서 비롯된 것인지를 이해할 수 있습니다.”라고 말했습니다.

이러한 공유 가능한 가시성을 통해 AI 엔지니어, 백엔드 엔지니어, 제품 관리자(product managers), QA는 분리되고 단절된 뷰를 사용하는 대신 동일한 추적 기록과 평가 결과를 살펴볼 수 있게 되었습니다.

사용자에게 영향을 미치기 전에 품질을 검증하고 회귀를 방지하기

Orange Business는 또한 LangSmith를 사용하여 변경 사항을 프로덕션에 배포하기 전에 회귀 평가(regression evaluations)가 실행되도록 강제합니다. 엔지니어들은 에이전트 버전을 비교하고, 과거 추적 기록을 재실행하며, 어떤 배포가 이루어지기 전에도 동작을 검증할 수 있습니다.

여러 에이전트와 도구 호출이 서로 상호 작용하는 복잡한 워크플로우의 경우, 전체 실행 트리(full execution tree)에 대한 가시성은 엔지니어들이 끊어진 연결이나 문제를 더 빠르게 식별하고 수정할 수 있도록 합니다. Orange에서 일반적으로 검사하는 항목은 다음과 같습니다:

• 워크플로우가 정확히 어느 단계에서 실패했는지
• 해당 시점에서 어떤 에이전트나 도구가 실행되었는지
• 그 단계에 어떤 입력값이 전달되었는지
• 어떤 응답을 받았는지
• 개별 단계마다 얼마나 시간이 걸렸는지
• 워크플로우의 일부로 몇 개의 에이전트와 도구가 실행되었는지
• 각기 다른 단계들이 전체 실행에 어떻게 기여했는지

또한, Orange는 지속적인 프롬프트 개선을 위한 오프라인 평가(offline evals)에 사용할 수 있도록 좋거나 나쁜 에이전트 동작을 나타내는 트레이스 예제 데이터셋을 구축합니다.

결과 및 향후 계획

Orange가 구축한 시스템은 여러 팀의 운영 효율성을 개선하여 엔지니어와 SME(Subject Matter Expert, 주제 전문가)에게 에이전트 개발 및 개선을 위한 공유 워크플로우를 제공했습니다.

AI 제품 책임자인 Mathieu Ducrot는 “저희의 기술팀은 애플리케이션과 에이전트 워크플로우 구현을 담당하고, 비즈니스팀은 프롬프트 개선과 품질 평가에 적극적으로 참여할 수 있습니다. LangSmith는 프롬프트 반복(iteration), 추적(tracing), 그리고 평가를 하나의 연속적인 개선 워크플로우로 만듭니다.”라고 말했습니다. *Orange는 이러한 개선 루프를 기반으로 팀 협업을 확장하여 더욱 풍부한 피드백 사이클을 위한 온라인 평가(online evals)를 계획하고 있습니다.

앞으로는 팀은 더 복잡한 비즈니스 프로세스를 자동화하는 작업을 진행하고 있습니다. 예를 들어, CRM 및 법률 워크플로우 통합 기능을 갖추고 전체 보험 청구 프로세스를 지원하는 에이전트나, 항만에서 보안 센서를 모니터링하여 현장 엔지니어의 긴급 개입을 할 수 있는 에이전트 등이 있습니다.

엔터프라이즈 AI 플랫폼 구축에 관심이 있으신가요? LangSmith와 Live Intelligence에 대해 더 알아보세요.