LangChain 구축 3년 회고

Harrison Chase 작성

정확히 3년 전, 저는 오픈 소스 패키지인 langchain에 첫 코드를 올렸습니다. 당시에는 회사도 없었고, 이 프로젝트가 무엇이 될지에 대한 거창한 계획도 없었습니다.

한 달 후 ChatGPT가 출시되면서 langchain의 모든 것이 바뀌었습니다. 이는 자체 LLM 기반 애플리케이션을 구축하는 기본 방법으로 빠르게 인기를 얻었습니다. 지난 3년 동안 업계는 프로토타이핑 챗봇 단계를 넘어 실제 기능을 수행하는 에이전트(agent)를 상용화하는 단계로 성숙했으며, langchain은 LangChain이라는 회사로 진화했습니다.

저희 제품 제공 범위도 확장되었습니다. 단일 Python 오픈 소스 패키지에서 여러 인기 오픈 소스 패키지와 별도의 상업적 플랫폼(LangSmith)으로 구성된 다중 언어 에이전트 생태계가 되었습니다. 저희 기술은 Rippling, Vanta, Cloudflare, Replit, Harvey 등 선도 기업과 수천 개의 기업의 에이전트에 동력을 공급하고 있습니다.

오늘, 저희는 이러한 궤적을 지속하고, 에이전트 엔지니어링 플랫폼인 LangSmith를 확장하며, 오픈 소스 기여도를 늘리기 위해 12억 5천만 달러 규모의 자금 조달 라운드를 발표합니다. LangSmith에 대한 비전과 오늘 출시하는 다른 내용에 대해서는 저희 공지 블로그에서 더 자세히 다루었습니다.

이렇게 큰 규모의 자금 조달 발표(그리고 초기 langchain 출시 3주년을 앞두고)와 함께, 지난 3년간 에이전트가 어떻게 발전해 왔는지, 우리가 어떻게 발맞추어 왔는지, 원래 langchain에 대한 공정한 피드백을 처리하기 위해 어떤 노력을 했는지, 그리고 회사가 어디로 나아가고 있는지에 대한 저의 관점을 공유하고자 합니다.

사이드 프로젝트로 시작하며

langchain은 2022년 가을, 제 개인 GitHub 계정 hwchase17에서 단일(약 800줄 길이?) Python 패키지로 출시되었습니다.

. 이것은 사이드 프로젝트였습니다. 저는 밋업(meetups)에 참석하고 최첨단 기술을 다루는 몇몇 사람들을 만나면서, 언어 모델(language models)로 실험적인 것들을 구축하는 과정에서 영감을 받았습니다. 저는 그 기술에 즉시 매료되었지만, LLM이 얼마나 커질지 예측할 수는 없었습니다. 저는 사람들이 어떻게 만들고 있는지에서 몇 가지 공통된 패턴을 발견했고, 이 패턴들을 langchain에 담았습니다.

초기 출시 이후에도 저는 계속해서 개선해 나갔습니다. 주로 두 가지를 추가했습니다: (1) 다양한 LLM, 벡터 DB 등에 대한 더 많은 통합(integrations); (2) 5줄의 코드로 RAG, SQL 질문 답변, 추출 등과 같은 작업을 시작할 수 있는 더 높은 수준의 “템플릿(templates)”. 초기 langchain은 프롬프팅 기법(prompting techniques)을 실험하는 데 많은 시간을 보냈고, 우리는 이 분야에서 구축하는 모든 사람들과 함께 알아가고 있었습니다.

많은 통합이 필요했을 뿐만 아니라, 처음부터 LLM에 대한 다양한 선택지가 많을 것이라는 점도 분명했습니다. 특히 역동적인 산업에서는 사용자가 모델을 선택하고 나중에 그 결정을 변경할 수 있도록 돕는 것이 매우 중요했습니다. 모델 중립성(Model neutrality)은 여전히 저희 제품의 주요 이점 중 하나입니다.

회사 설립하기

이 분야(그리고 langchain)가 폭발적으로 성장하면서, 저는 공동 창업자이자 저보다 훨씬 뛰어난 엔지니어인 Ankush와 더 긴밀하게 협력하기 시작했습니다. 우리는 회사 설립을 추진하게 될 동력이 무엇일지에 대한 낌새를 느끼기 시작했고, 그 초기 영감은 오늘날까지도 우리가 집중하고 있는 부분입니다:

LLMs는 정말 대단하고 혁신적인 신기술입니다. 외부 데이터 및 API에 연결될 때 더욱 강력해집니다. 저희는 이러한 시스템을 에이전트(agents)라고 부릅니다. 그리고 믿을 수 있는 에이전트를 구축하는 것이 꽤 어렵다는 것을 알게 되었습니다! 이렇게 많은 잠재력이 있음에도 불구하고 비전을 실현하기 어렵다면, 도움을 줄 거대한 기회가 존재합니다. 저희는 (그리고 여전히) 다른 사람들이 신뢰할 수 있는 에이전트를 구축하도록 돕기 위한 최고의 도구를 만들기로 결심했습니다. 필요한 도구 중 일부가 무엇인지는 알고 있지만, 아직 어떤 것이 필요할지는 모릅니다. 저희의 목표는 미래의 에이전트가 어떻게 생겼는지 파악하고, 그들이 현실화되도록 돕는 도구를 구축하는 것입니다.

저희는 langchain이 우리가 만들 첫 번째 도구일 것임을 알면서 2023년 2월에 회사를 시작했습니다.

LangSmith 출시하기

개발자들이 직면한 가장 큰 문제는 이러한 LLM 시스템들이 품질 문제를 가지고 있다는 것이었습니다. LLM 호출은 잘못된 컨텍스트(context) 때문에 계속해서 오작동했습니다. 이를 더 신뢰성 있게 만들기 위해서는, LLM에 들어가는 컨텍스트를 관찰할 수 있는 기능(observability)과, 해당 컨텍스트를 수정했을 때 실제로 개선으로 이어지는지 테스트하는 방법이 필요했습니다.

LangSmith는 이 문제에 대한 저희의 해답이었습니다. 즉, LLM 시스템을 위한 관찰 가능성 및 평가 도구(observability and evals)였으며, 2023년 여름에 베타 버전을 출시했습니다. 특히, LangSmith를 langchain과 완전히 분리했습니다. 저희는 이 분야가 매우 초기 단계이며, LangSmith와 같은 도구가 절실히 필요하다고 인식했기 때문에, 개발자가 어떤 프레임워크(또는 프레임워크 없음)를 사용하든 관계없이 LangSmith를 최고 수준으로 구축하기로 약속했습니다. LangSmith는 LLM에 중립적이고 기반 프레임워크에도 중립적이어서, 저희의 개방적이고 조합 가능한 도구 철학에 더해졌습니다.

LangGraph 출시하기

2023년 여름경, 저희는 langchain에 대한 많은 부정적인 피드백을 받기 시작했습니다.

하지만 해결하기 어려운 피드백도 있었습니다. 예를 들어, 호환성 깨짐 방지(preventing breaking changes), 숨겨진 프롬프트 명시화(making hidden prompts explicit), 패키지 비대화(package bloat), 의존성 충돌(dependency conflicts), 오래된 문서화 등이었습니다. 하지만 가장 다루기 어려웠던 피드백은 사람들이 더 많은 통제권을 원한다는 것이었습니다. langchain이 시작하기 가장 빠른 곳이었지만, 우리는 사용 편의성을 위해 강력한 기능을 포기했습니다. langchain에서 시작하기 쉽게 만들었던 동일한 높은 수준의 인터페이스(high level interfaces)들이 이제 사람들이 이를 프로덕션 환경에 맞게 커스터마이징하려고 할 때 방해가 되었습니다.

저희는 그 여름에 LangGraph 개발을 시작했고, 2024년 초에 출시했습니다. 저희가 집중한 두 가지 주요 기둥은 다음과 같습니다:

• 제어 가능성(Controllability): 숨겨진 프롬프트도 없고, 숨겨진 컨텍스트 엔지니어링도 없습니다. 워크플로우든 에이전트든 그 사이의 어떤 것이든 시스템에 대한 완전한 제어권을 가질 수 있습니다.
• 런타임(Runtime): 저희는 프로덕션 런타임에 필요한 모든 것(스트리밍, 상태 유지(statefulness), 인간 개입 루프(human-in-the-loop), 영속적 실행(durable execution))에 대해 배운 것을 모두 가져와 LangGraph에 자체적인 방식으로 구축했습니다.

LangGraph는 초기 langchain의 한계로부터 영감을 받았습니다. LinkedIn, Uber, J.P. Morgan, BlackRock과 같은 기업들의 프로덕션 검증은 우리가 올바른 방향으로 개발하고 있다는 확신을 주었습니다.

LangChain 재검토하기(Revisiting LangChain)

몇 달 전, 저희는 langchain을 처음부터 다시 검토하기로 결정했습니다. LangGraph의 엄청난 채택률을 보고 있었지만, 학습 곡선이 더 높았고, langchain에 대한 놀랍고 지속적인 열정은 여전히 업계에서 langchain이 충족하고 있는 필요가 있다는 것을 저희에게 확신시켜 주었습니다. 재구상된 langchain에 대해 저희는 세 가지 목표를 설정했습니다:

• 에이전트 구축을 시작하기 가장 쉽게 만드는 것
• 이전에 비해 더 많은 커스터마이징을 허용하는 것
• 프로덕션 준비가 된 런타임을 제공하는 것

저희는 이러한 접근 방식이 langchain에 엄청난 호환성 깨짐(breaking changes)을 요구할 것이라는 것을 알고 있었습니다. 그래서 저희는 이를 1.0 릴리스에서 하는 것이 가장 좋다고 결정했습니다. 저희는 다음 방법을 통해 목표를 달성했습니다:

• '에이전트(agents)'와 동의어가 된 핵심 도구 호출 루프(core tool-calling loop)에 집중했습니다.
• 개발자가 필요로 하는 정확한 지점에서 '컨텍스트 엔지니어링(context engineering)' 수명 주기에 대한 제어권을 부여하도록 고유하게 설계된 새로운 미들웨어(middleware) 개념을 추가했습니다.
• 스트리밍, 영속적 실행(durable execution), 인간 개입 루프(human-in-the loop) 등을 지원하는 런타임인 LangGraph를 기반으로 구축했습니다.

저희는 오늘 출시된 langchain 1.0이 저희가 설정했던 목표들을 해결하며, 무엇보다 백만 명 이상의 개발자 커뮤니티에게 우리가 어떤 기술을 지지하고 있는지에 대한 더 명확한 시야를 제공한다고 믿습니다. 에이전트 아키텍처의 가장 좋은 패턴들은 프로젝트를 시작했을 때보다 오늘날 훨씬 잘 이해되고 있으며, 1.0은 저희 팀이 이전에 보여준 그 어떤 것보다도 훨씬 더 정제되어 있습니다. 게다가 오랫동안 기다려온 새로운 중앙 집중식 문서 사이트를 출시했습니다! 여러분의 의견을 들었습니다.

오늘 langchain을 사용하는 수백만 명의 개발자(월 8천만 다운로드!)를 위해, 저희는 여전히 langchain 0.x 버전을 langchain-classic으로 유지하고 장기간 지원할 것을 약속드립니다.

LangSmith를 에이전트 엔지니어링 플랫폼으로 진화시키기

LangSmith의 핵심 기능은 관측 가능성(observability)과 평가(evaluations)였지만, 이것만이 신뢰할 수 있는 에이전트를 구축하는 데 필요한 유일한 도구는 아닙니다. 저희는 배포에 중점을 둔

저희의 목표는 미래 에이전트가 어떤 모습일지 파악하고, 그것을 촉진할 도구들을 구축하는 것입니다. 저희는 그 구성 요소들 중 일부(LangGraph와 같은 에이전트 런타임, 관측 가능성(observability), 평가(evals))를 알고 있습니다. 그리고 나머지 구성 요소들은 무엇일지에 대해서도 몇 가지 추측을 가지고 있으며, 현재 적극적으로 탐구하고 있는 부분입니다. 또한, 현시점에서 저희가 상상할 수 없는 다른 컴포넌트들이 존재할 것이라고 전적으로 예상합니다. 이는 이 여정을 매우 재미있고 보람 있게 만들 것이며, 앞으로 오랫동안 지속될 것으로 기대합니다.

저희 도구가 미래 에이전트를 더 잘 구축하는 데 어떻게 적응할 수 있을지에 대한 피드백이 있다면 X(트위터)에서 알려주세요. 저희는 제품들이 진화해야 한다는 것을 알기 때문에 모든 피드백에 감사드립니다.

미래 에이전트를 구축하는 과정에서 파트너가 필요하다면 연락 주세요. 저희는 Vanta, Rippling, Replit, Clay, Cisco, Workday 등 훌륭한 회사들과 함께 일할 수 있는 행운을 누리고 있으며, 가능성의 한계를 넓히는 더 많은 팀들과 협력하기를 바랍니다.

미래 에이전트를 구축하는 저희의 사명에 도움을 주고 싶다면, 사실상 모든 직무에서 인재를 채용하고 있습니다.