Replit Agent의 복잡한 워크플로우를 통해 LangSmith의 한계를 넓히다

Replit은 3,000만 명 이상의 개발자가 코드를 작성, 실행 및 협업하는 과정을 단순화하는 플랫폼을 통해 AI 혁신의 최전선에 서 있습니다. 그들은 최근 Replit Agent를 출시했으며, 이 도구를 통해 사람들이 놀라운 애플리케이션을 쉽게 만들 수 있게 되면서 즉시 입소문을 탔습니다.

이면에는 높은 수준의 제어력과 병렬 실행(parallel execution)을 갖춘 고도로 맞춤화된 에이전트 워크플로우(agentic workflow)를 가능하게 하는 Replit Agent의 복잡한 워크플로우가 있습니다. Replit은 LangSmith를 사용하여 에이전트 상호작용에 대한 깊은 가시성(visibility)을 확보함으로써 까다로운 문제들을 디버깅(debug)할 수 있었습니다.

Replit Agent에 요구되는 복잡성 수준은 LangSmith의 경계 또한 넓혔습니다. LangChain과 Replit 팀은 그들의 LLM 관측성(observability) 요구 사항을 충족할 수 있는 기능을 LangSmith에 추가하기 위해 긴밀히 협력했습니다. 구체적으로, 우리가 혁신을 이룬 세 가지 주요 영역은 다음과 같습니다:

• 대규모 트레이스(traces)에 대한 성능 및 확장성 개선
• 트레이스 내 검색 및 필터링 기능
• 인간 참여형(human-in-the-loop) 워크플로우를 가능하게 하는 스레드 뷰(Thread view)

대규모 트레이스에 대한 성능 및 확장성 개선

대부분의 다른 LLMOps 솔루션은 LLM 제공업체에 대한 개별 API 요청을 모니터링하여 단일 LLM 호출에 대한 제한적인 뷰를 제공합니다. 이와 대조적으로, LangSmith는 첫날부터 LLM 애플리케이션의 전체 실행 흐름을 추적(tracing)하는 데 집중하여 더욱 총체적인 맥락(holistic context)을 제공해 왔습니다.

에이전트는 그 복잡한 특성 때문에 트레이싱(Tracing)이 매우 중요합니다. 트레이싱은 여러 번의 LLM 호출뿐만 아니라 다른 단계들(검색(retrieval), 코드 실행 등)을 포착합니다. 이를 통해 에이전트의 의사 결정 과정을 이해하기 위해 각 단계의 입력 및 출력(inputs and outputs)을 포함하여 무엇이 일어나고 있는지에 대한 세밀한 가시성을 제공합니다.

Replit Agent는 고급 트레이싱 요구 사항의 적절한 사례였습니다. 그들의 에이전트 도구는 단순히 코드를 검토하고 작성하는 것을 넘어, 계획 수립, 개발 환경 생성, 종속성(dependencies) 설치, 사용자를 위한 애플리케이션 배포를 포함한 더 넓은 범위의 기능을 수행합니다.

그 결과, Replit의 트레이스(traces)는 수백 개의 단계를 포함할 정도로 매우 방대해졌습니다. 이는 데이터를 수집(ingesting)하고 시각적으로 의미 있는 방식으로 표시하는 데 있어 상당한 과제를 안겨주었습니다.

이를 해결하기 위해 LangChain 팀은 대량의 트레이스 데이터를 효율적으로 처리하고 저장할 수 있도록 수집(ingestion) 프로세스를 개선했습니다. 또한, 장시간 실행되는 에이전트 트레이스를 원활하게 표시할 수 있도록 LangSmith의 프론트엔드 렌더링(frontend rendering)을 개선했습니다.

트레이스 내 검색 및 필터링을 통한 문제 정밀 진단

LangSmith는 항상 트레이스 '사이(between)'의 검색을 지원해 왔으며, 이를 통해 사용자는 이벤트나 전체 텍스트 검색을 기반으로 수십만 개 중 단일 트레이스를 찾아낼 수 있었습니다. 하지만 Replit Agent의 트레이스가 점점 더 길어짐에 따라, Replit 팀은 특정 이벤트(종종 알파 테스터들이 보고하는 문제들)를 찾기 위해 트레이스 '내부(within)'를 검색해야 했습니다. 이를 위해서는 기존의 검색 기능을 확장하는 것이 필요했습니다.

이에 대응하여, 트레이스 내부를 검색하는 새로운 검색 패턴이 LangSmith에 추가되었습니다. 이제 사용자는 방대한 트레이스 내에서 호출(call) 단위로 일일이 확인하며 스크롤하는 대신, 자신이 중요하게 생각하는 기준(예: 실행의 입력 또는 출력에 포함된 키워드)으로 직접 필터링할 수 있습니다. 이는 Replit이 트레이스 내의 에이전트 단계를 디버깅(debug)하는 데 필요한 시간을 크게 단축해 주었습니다.

Human-in-the-loop 워크플로우를 위한 스레드 뷰(Thread view)

Replit Agent의 핵심적인 차별점은 Human-in-the-loop(인간 참여형) 워크플로우를 강조했다는 점입니다. Replit Agent는 AI 에이전트가 인간 개발자와 효과적으로 협업할 수 있는 도구가 되는 것을 목표로 하며, 개발자는 필요에 따라 개입하여 에이전트의 궤적(trajectories)을 편집하고 수정할 수 있습니다.

생성된 코드를 관리, 편집 및 검증하는 것과 같은 역할을 수행하기 위해 별도의 에이전트들이 존재함에 따라, Replit의 에이전트들은 사용자들과 지속적으로 상호작용하며, 종종 여러 차례의 대화가 오가는 긴 시간 동안 상호작용을 이어갔습니다. 그러나 각 사용자 세션이 서로 분리된 트레이스를 생성하기 때문에, 이러한 대화 흐름을 모니터링하는 것은 종종 어려운 일이었습니다.

이를 해결하기 위해, LangSmith의 스레드 뷰(thread view)는 서로 연관된(즉, 하나의 대화에서 발생한) 여러 스레드의 트레이스(traces)를 함께 모으는 데 도움을 주었습니다. 이를 통해 다회차 대화(multi-turn conversation) 전반에 걸친 모든 에이전트-사용자 상호작용에 대한 논리적인 뷰를 제공함으로써, Replit이 1) 사용자가 막히는 병목 지점(bottlenecks)을 더 잘 찾고, 2) 인간의 개입이 유익할 수 있는 영역을 정확히 짚어내는 데 도움을 주었습니다.

결론

Replit은 LangSmith의 강력한 관측성(observability) 기능을 사용하여 AI 에이전트 모니터링의 경계를 넓히고 있습니다. 길고 무거운 트레이스를 로드하는 데 드는 노력을 줄임으로써, Replit 팀은 복잡한 에이전트를 구축하고 확장하는 프로세스의 속도를 크게 높였습니다. 더 빠른 디버깅(debugging), 향상된 트레이스 가시성, 그리고 병렬 작업(parallel tasks)의 더 나은 처리를 통해, Replit은 AI 기반 개발의 표준을 세우고 있습니다.