Factory가 LangSmith를 활용하여 피드백 루프를 자동화하고 반복 속도를 2배 향상시킨 방법

오늘날 빠르게 변화하는 소프트웨어 개발 환경에서 간소화된 소프트웨어 개발 수명 주기(SDLC) 기능은 필수적입니다. Factory는 SDLC 자동화를 위한 보안 AI 플랫폼을 구축하고 있습니다. Factory의 Droid 군단은 SDLC의 다양한 단계를 자동화하여 대규모 조직의 엔지니어링 속도를 높이고 있으며, 특히 Code Droid는 복잡한 소프트웨어 개발 작업에서 최첨단 성능을 달성했습니다. Self-hosted LangSmith를 활용함으로써 Factory는 기업 수준의 보안과 개인 정보 보호를 유지하면서 자율 LLM 시스템에 필요한 복잡한 관측 가능성(observability) 요구 사항을 충족합니다.

안전하고 신뢰할 수 있는 AI 운영을 위한 LangSmith 활용

Self-hosted LangSmith는 데이터 프라이버시와 보안을 보장하면서 복잡한 LLM 워크플로우를 관리하는 데 필요한 관측 가능성 인프라를 제공합니다. Factory는 엄격한 데이터 통제가 대부분의 LLM 인프라가 성공적으로 작동하는 것을 막는 환경에 LangSmith를 배포할 수 있습니다.

Factory가 직면했던 주요 과제 중 하나는 고객 환경에서 강력한 관측 가능성을 확보하는 것이었습니다. LLM 파이프라인 전반의 데이터 흐름을 추적하고 컨텍스트 인식 문제를 디버깅하기 위한 기존 방식들은 번거로웠습니다. 게다가 Factory의 맞춤형 LLM 툴링은 대부분의 LLM 관측 가능성 도구를 설정하기 어렵게 만들었습니다. LangSmith는 퍼스트 파티 API를 통한 사용자 지정 트레이싱(custom tracing)으로 완벽한 솔루션을 제공했습니다.

Factory는 LangSmith를 통합하여 추적 기록을 AWS CloudWatch 로그로 내보냈고, 이를 통해 팀은 LLM 파이프라인의 다양한 단계별 데이터 흐름을 정확하게 추적할 수 있었습니다. LangSmith 이벤트와 단계를 CloudWatch 로그에 연결함으로써, Factory 엔지니어들은 에이전트(agentic) 단계에서 자신들의 위치를 특정할 수 있었습니다. 이 통합은 LLM의 데이터 흐름에 대해 한 단계부터 다음 단계까지 진실의 원천(single source of truth)을 유지하는 데 도움을 주었으며, 이는 디버깅과 최적화에 매우 중요한 요소입니다.

또 다른 어려움은 생성된 응답의 컨텍스트 인식(context-awareness) 문제를 디버깅하는 것이었습니다. Factory는 LangSmith를 활용하여 피드백을 각 LLM 호출에 직접 연결함으로써 잠재적인 문제점에 대한 즉각적인 통찰력을 제공했습니다. 이러한 통합 덕분에 팀은 독점 로깅 시스템 없이도 환각(hallucinations)과 같은 문제를 신속하게 식별하고 해결할 수 있었습니다. 모든 LLM 호출 옆에서 피드백을 확인할 수 있게 되자, Factory는 AI의 출력이 실제 고객 입력에 기반하여 컨텍스트적으로 정확하고 관련성이 있도록 보장할 수 있었습니다.

LangSmith를 활용한 제품 피드백 루프 완성하기

관측 가능성(observability) 외에도, Factory는 프롬프트 최적화와 피드백 API 활용에 중점을 두고 LangSmith를 사용하여 제품 피드백 루프를 최적화했습니다. 수동적인 프롬프트 최적화의 전통적인 방식은 시간이 많이 걸리고 종종 부정확했습니다. LangSmith의 Feedback API가 이 과정을 간소화하여, Factory가 피드백을 수집하고 분석한 다음 실시간 데이터를 기반으로 프롬프트를 개선할 수 있도록 했습니다.

Factory의 피드백 루프는 Droid가 댓글을 게시하고 긍정적/부정적 피드백을 수집하는 것에서 시작됩니다. LangSmith가 데이터를 분석한 후, Factory 엔지니어들은 커스텀 LangChain 도구를 사용하여 프롬프트를 최적화하고, LLM에 재프롬프트(re-prompt)를 수행하며, 정확도를 개선하고 오류를 줄입니다.

Factory는 Feedback API를 사용하여 워크플로우의 다양한 단계에 피드백을 추가했습니다. 이 피드백은 데이터셋으로 내보내져 패턴과 개선 영역에 대해 분석되었습니다.

예시를 벤치마킹하고 최적화 프로세스를 자동화함으로써, Factory는 정확성에 대한 통제력을 높이고 AI 모델의 전반적인 성능을 향상시켰습니다. 예를 들어, 좋은 피드백이나 나쁜 피드백이 포함된 코드 댓글 예시와 함께, LLM에게 프롬프트를 보고 해당 프롬프트가 왜 나쁜 예시를 유발했을 수 있는지(좋은 예시가 아닌) 주장하도록 했습니다. 이러한 간소화된 피드백 수집 및 처리는 프롬프트 최적화를 개선했을 뿐만 아니라, 피드백 분석에 필요한 정신적 노력과 인프라 요구 사항을 줄였습니다.

피드백 수집 및 처리를 자동화할 수 있다는 점은 특히 인간의 피드백이 필요했던 파이프라인 단계에 매우 유용했습니다. LangSmith를 활용하여, Factory는 Droid 성능의 가장 중요한 측면들이 지속적으로 개선되고 최적화되도록 최종적인 피드백 수집에 집중할 수 있었습니다.

이러한 접근 방식은 워크플로우 전반에 걸쳐 정확도와 효율성 면에서 상당한 개선을 가져왔습니다. 이전의 수동 데이터 수집 및 인간 주도 프롬프트 반복 방식과 비교했을 때, Factory는 반복 속도를 2배(2x) 높일 수 있었습니다. 또한 Factory는 고객들이 평균적으로 오픈-투-머지 시간(open-to-merge time)을 약 20% 줄였고, Droid가 영향을 미치는 코드의 경우 첫 90일 동안 코드 변경률(code churn)을 3배(3x) 줄였다고 보고했습니다.

미래 전망: SDLC에서 AI 자율성 확장하기

Factory는 계속 혁신함에 따라, 전체 소프트웨어 개발 수명 주기(SDLC) 전반에 걸쳐 AI 역량을 강화하는 데 초점을 맞추고 있습니다. LangChain과 파트너십을 맺고 LangSmith를 사용한 것은 이 여정에서 핵심적인 역할을 했으며, 소프트웨어 개발에서 전례 없는 수준의 효율성과 품질을 달성하는 데 필요한 도구와 인프라를 제공했습니다.

Factory의 Droids는 이미 엔지니어링 운영에 놀라운 개선을 가져왔습니다. 고객들은 사이클 시간(cycle time)이 최대 20%까지 평균적으로 감소했다고 보고했으며, 다양한 조직에서 55만 시간 이상의 개발 시간이 절약되었습니다. 이러한 상당한 시간 절약은 엔지니어링 팀이 혁신적이고 가치 추가적인 작업에 집중할 수 있게 하여 전반적인 생산성을 높이고 운영 비용을 줄이는 데 도움을 줍니다.

Factory는 소프트웨어 개발 분야에서 AI의 경계를 계속 확장하면서 밝은 미래를 맞이하고 있습니다. 최근 AI Droids를 공개적으로 출시하고 Sequoia Capital이 주도한 1,500만 달러 규모의 시리즈 A(Series A) 투자를 유치하며, Factory는 상당한 성장과 혁신을 앞두고 있습니다. LangChain과의 지속적인 협력은 이러한 전략의 초석이며, Factory가 AI 기반 소프트웨어 개발의 최전선에 머무르게 하는 원동력이 되고 있습니다.

“LangChain과의 협력은 엔터프라이즈급 LLM 기반 시스템을 성공적으로 배포하는 데 매우 중요했습니다. LangChain 팀으로부터 얻는 관찰 가능성(observability) 및 오케스트레이션 계층(orchestration-layer) 도구 덕분에 저희의 의사 결정과 운영 역량에 대해 훨씬 더 큰 자신감을 갖게 되었습니다.” – Eno Reyes, Factory CTO

Factory 소개

Factory는 소프트웨어 개발 수명 주기(SDLC) 자동화에 전념하는 엔터프라이즈 AI 기업입니다. 첨단 자율 로봇(autonomous Droids)을 통합하여, Factory는 기업들이 더 빠르고, 더 신뢰할 수 있으며, 비용 효율적인 소프트웨어 배포를 달성하도록 돕습니다.

더 많은 통찰력과 업데이트는 Factory 웹사이트를 방문해 주십시오.

LangChain 소개

LangChain, Inc.는 개발자들이 컨텍스트 인식 추론 애플리케이션을 구축하는 데 도움을 주기 위해 2023년 초에 설립되었습니다. 이 회사의 인기 있는 오픈 소스 프레임워크는 개발자들에게 LLM을 사용한 프로덕션 준비가 된(production-ready) 애플리케이션을 만들 수 있는 빌딩 블록을 제공합니다. LangSmith는 이를 보완하여, LangChain 및 LLM 기반 앱 구축과 모니터링을 위한 완벽하고 종단 간(end-to-end) 개발 워크플로우를 가능하게 하는 올인원 SaaS 플랫폼입니다.

더 자세한 정보는 LangChain 웹사이트를 방문해 주십시오.