오늘 저희는 기업들이 Azure Marketplace에서 Azure Kubernetes Application으로서 LangSmith를 구매할 수 있게 되었다는 소식을 기쁘게 발표합니다. LangSmith는 LangChain을 사용하여 구축하든 그렇지 않든, LLM (Large Language Model) 애플리케이션을 개발, 협업, 테스트 및 모니터링하기 위한 통합 DevOps 플랫폼입니다. LangSmith는 기업들이 LLM 애플리케이션을 프로토타입에서 프로덕션 단계로 전환하는 데 도움을 주는 선택된 플랫폼으로 빠르게 자리 잡았으며, Moody’s, Elastic, Rakuten, BCG와 같은 LangSmith 고객들은 확장 가능한 고품질 genAI (Generative AI) 애플리케이션을 구축하기 위해 이 플랫폼을 신뢰하고 있습니다.

“혁신과 기술의 리더로서, Moody’s는 생성형 AI (Generative AI) 기반 도구에 대한 철저한 테스트와 평가를 우선시합니다. 기업과 고객에게 신뢰할 수 있는 애플리케이션을 만들기 위해, LangSmith는 개발 및 테스트 단계 전반에 걸쳐 엔지니어링의 엄격함을 유지하도록 도와주며, 이를 통해 애플리케이션을 출시하기 훨씬 전부터 LLM 기반 애플리케이션에 대한 스트레스 테스트 (Stress Test)를 수행할 수 있게 해줍니다. 이는 우리가 리스크를 해독하고 기회를 창출하려는 사명 속에서 생성형 AI를 지속적으로 활용하는 데 있어 확신을 줍니다.” – Moody’s의 머신러닝 (Machine Learning) 디렉터, Han-chung Lee.

저희는 Microsoft와의 협력을 강화하여, 가장 까다로운 정보 보안 (Infosec) 및 컴플라이언스 (Compliance) 팀까지 만족시킬 수 있는 데이터 보안 태세를 갖춘 상태로, Azure Marketplace를 통해 공동 고객들에게 더 쉬운 조달 옵션을 제공하게 되어 매우 기쁩니다.

LangSmith와 Azure Marketplace를 통해 얻을 수 있는 이점에 대해 더 자세히 알아보려면 계속 읽어보시거나 오늘 바로 문의해 주세요.

LangSmith의 이점

LangSmith의 디버깅 (Debugging), 테스트 (Testing), 모니터링 (Monitoring) 및 프롬프트 관리 (Prompt Management) 모듈을 통해 기업 고객은 다음과 같은 이점을 누릴 수 있습니다:

프로덕션 LLM 애플리케이션에 대한 사용자 상호작용 가시성 증대: LangSmith는 엔지니어링 팀에게 최종 사용자가 LLM 애플리케이션에 무엇을 질문하고, 프로덕션 환경에서 애플리케이션이 어떻게 응답하는지에 대한 트레이스 (Trace) 수준의 상세 정보를 제공합니다. 최종 사용자 피드백을 통해 트레이스를 쉽게 보강할 수 있어, LangSmith는 문제 해결 (Remediation) 및 지속적인 개선에 필요한 관측성 (Observability)을 제공합니다. LangSmith는 팀에게 다음과 같은 측면에서 안심을 제공합니다:

• 성능 및 품질,
• 대화의 감사 가능성 (Audibility),
• 상호작용이 기대에 미치지 못할 때의 설명 가능성 (Explainability).

애플리케이션 품질 향상을 위한 더 완전한 테스트 커버리지: LLM 애플리케이션은 강력하지만 독특한 특성을 가지고 있습니다. 비결정론적 (Non-determinism) 특성과 예측 불가능한 자연어 입력이 결합되어 시스템이 실패할 수 있는 무수히 많은 경로가 존재합니다. LangSmith는 LLM과 작업하기에 더 적합하도록 전통적인 소프트웨어 엔지니어링 테스트를 재구상했습니다. LangSmith의 테스트 및 평가 (Testing & Evaluation) 모듈을 통해 개발자는 애플리케이션을 최종 사용자에게 배포하기 전에 애플리케이션이 어떻게 작동할지에 대한 확신을 가질 수 있습니다. LangSmith는 개발자가 회귀 (Regression) 현상을 포착하고, 애플리케이션 로직의 변경이 주요 지표를 올바른 방향으로 움직이고 있는지 식별하도록 돕습니다.

애플리케이션 개발 속도 향상 및 전문가와의 협업 강화: LangSmith는 개발자가 애플리케이션 트레이스를 디버깅하여 에이전트 (Agent)나 체인 (Chain)이 어디서 경로를 벗어나는지 정확히 찾아낼 수 있도록 돕습니다. 또한 LangSmith는 프롬프트 구성 및 레이블링 피드백에 대해 최종 사용자 또는 산업 지식이 더 많이 필요한 주제 전문가 (Subject Matter Experts, 예: 제품 관리자 또는 품질 보증 팀)와의 개발자 협업을 개선합니다.

더 나은 비즈니스 트레이드오프를 위한 명확한 ROI 분석: LLM 애플리케이션을 구축할 때, 품질, 비용, 지연 시간 (Latency) 사이에서 트레이드오프 (Trade-off)를 하는 경우가 거의 항상 발생합니다. LangSmith는 팀이 이 세 가지와 관련된 지표를 조사하기 위해 실험을 수행할 수 있도록 도와줌으로써, 개발자가 데이터를 바탕으로 선택을 뒷받침하고, 중요한 것에 우선순위를 두며 지출을 통제할 수 있도록 지원합니다.

Azure Marketplace를 통해 LangSmith를 조달할 때의 이점

Azure Marketplace를 통해 LangSmith를 구매하면, 데이터를 귀하의 Azure VPC 내에 완전히 격리된 상태로 유지할 수 있으며, 배포의 용이성을 확보하고 더욱 원활한 조달 프로세스를 경험할 수 있습니다.

LangSmith는 귀하의 Azure VPC에서 실행되므로 제3자(3rd-party)와 데이터를 공유하지 않습니다. 모니터링 플랫폼으로서, LangSmith는 최종 사용자가 귀하의 LLM 애플리케이션(LLM-applications)에 무엇을 묻는지, 그리고 귀하의 앱이 어떻게 응답하는지에 대한 엄청난 양의 유용한 정보를 기록합니다. 귀하가 LangSmith를 Azure Kubernetes Application으로 구매하면, 당사가 귀하의 환경에 전체 플랫폼을 배포하므로 데이터가 네트워크를 벗어나지 않으며 데이터 관리에 대한 완전한 통제권을 갖게 됩니다. 또한, 정보 보안(infosec) 팀은 Microsoft 팀이 이미 LangSmith 제품을 검토 및 인증했으며, 고객의 데이터와 환경을 안전하게 유지하기 위해 당사의 이미지에 대해 지속적으로 보안 취약점 스캔을 수행한다는 점을 높게 평가할 것입니다.

Azure Kubernetes Service (AKS)에 LangSmith를 배포하는 것이 그 어느 때보다 쉬워졌습니다. 당사는 귀하가 LangSmith 및 그 종속성(dependencies)을 AKS 또는 OpenShift 클러스터에 배포할 수 있도록 트라이얼 라이선스(trial license)를 제공한 후, 거래가 완료되면 프로덕션 라이선스(production license)를 제공합니다. Azure Resource Manager (ARM) API와의 깊은 통합을 통해, Azure Marketplace를 통한 LangSmith는 설정 및 통합이 매우 간편합니다. 귀하는 6주마다 마이너 릴리스(minor release)를 받게 되며, 배포, 업데이트 및 지속적인 확장성 유지 관리를 돕기 위해 당사 인프라 팀의 화이트 글로브 지원(white-glove support)을 받게 됩니다.

Microsoft Azure Consumption Commitment (MACC) 크레딧을 사용할 수 있습니다. 많은 Azure 고객은 인프라 및 개발 요구 사항을 해결하기 위해 Microsoft의 전체 제품 제품군에 의존합니다. LangSmith는 IP 공동 판매(IP co-sell) 요건을 충족했습니다. 이는 귀하가 Azure 크레딧을 사용하여 LangSmith를 구매할 수 있을 뿐만 아니라, LangSmith에 지출하는 모든 금액이 MACC에서 차감되어 팀의 예산 승인 프로세스를 더욱 용이하게 만든다는 것을 의미합니다.

Microsoft와의 LangChain 협업 강화

우리는 Azure OpenAI, Azure AI Search, Microsoft Fabric 등과의 심층적인 통합을 통해 Azure AI 서비스와 LangChain의 기술적 협업에 지속적으로 투자하고 있습니다. LangChain의 상용 제품인 LangSmith를 위한 공동 시장 진출(Go-to-market) 노력으로 제품 협업을 확장하는 것은 양측 고객 모두에게 이익이 되는 자연스러운 흐름이었습니다.

LLM 애플리케이션 생명주기(Lifecycle)의 모든 단계를 지원하는 플랫폼을 찾고 있다면, 귀하의 Azure 환경에 배포된 LangSmith를 고려해 보십시오. Azure Marketplace에서 직접 문의하거나 영업 담당자에게 연락하여 당사의 전문가와 상담을 시작하십시오. 여러분과 함께 협력하게 되어 기쁩니다.

추가 리소스: