LangChain 출시 2주년 기념

오늘로 langchain Python 패키지가 공개된 지 2년이 되었습니다. 2년이라는 시간은 길기도 하고 짧기도 합니다. 한편으로는 LLM을 사용한 애플리케이션 구축 여정에서 아직 매우 초기 단계라는 느낌도 듭니다. 하지만 이 기간 동안 정말 많은 것이 변화했습니다. 업계의 빠른 변화 속도에 따라 우리는 주로 개발에 몰두해 왔습니다. 그러나 첫 출시 2주년을 맞아, langchain이 어떻게 발전해 왔는지, 그리고 앞으로 어디로 나아갈 것인지 되돌아보고자 합니다.

새로운 도구, 변치 않는 사명: 추론할 수 있는 애플리케이션 구현 지원

langchain의 원래 슬로건은 “LLM을 외부 계산 및 데이터 소스에 연결하는 것”이었습니다. 이는 ‘agent’라는 용어보다 앞선 개념이지만, 본질적으로 1줄 요약으로 설명한 내용과 같습니다. 저희의 사명은 처음부터 일관되어 왔습니다. 즉, 컨텍스트를 인식하고 에이전트 기능을 갖춘 애플리케이션을 구축하는 것을 가능한 한 쉽게 만드는 것입니다.

하지만 변화한 것은 그 임무를 달성하기 위해 제공하는 도구입니다. 무엇보다도, Python/JS 오픈 소스 라이브러리였던 langchain은 LangGraph와 LangSmith라는 두 가지 핵심 제품이 추가되면서 LangChain이라는 회사로 진화했습니다! langchain이 여전히 가장 인기 있는 제품이지만, 저희는 이 두 개의 추가적인 주요 제품으로 확장했습니다.

2022년에는 개발자들이 주로 이 새로운 기술을 배우고 빠르게 시작하는 쉬운 방법을 필요로 했습니다. 오늘날 더 큰 과제는 신뢰할 수 있게 작동하며 실제 영향을 미치는 고품질 애플리케이션을 만드는 것입니다. 저희 세 가지 제품 모두의 발전은 이러한 변화를 반영합니다.

생태계가 어떻게 진화했는지

2년 전만 해도 전체 생성형 AI 생태계는 믿기 어려울 정도로 초기 단계였습니다. ChatGPT조차 출시되지 않았었습니다. langchain

성공적으로 자리 잡을 수 있었던 이유는 개발자들에게 LLM 애플리케이션을 빠르고 쉽게 구축할 수 있는 진입점을 제공하고 최신 연구 동향을 따라갈 수 있게 했기 때문입니다. 당시 저희는 가장 인기 있는 LLM 통합 기능(무려 3가지!)과 코드를 단 5줄로 시작하여 일반적인 사용 사례를 테스트해 볼 수 있는 기성 체인들을 갖추고 있었습니다.

그 이후로 생태계는 세 가지 중요한 방식으로 진화했습니다:

• 생태계의 안정화: 여전히 초기 단계라고 믿지만, GenAI(생성형 AI) 분야는 2년 전만큼 신생하지는 않습니다. LLM 애플리케이션은 더 이상 해커톤에서만 만들어지는 것이 아니라 실제 운영 환경(production)에 배포되고 있습니다.
• 생태계의 폭발적 성장: langchain이 처음 출시되었을 때에는 약 3개의 LLM 제공업체만 있었습니다. 오늘날에는 수많은 통합 기능(문서 로더, 벡터 스토어 등)과 함께 70개 이상의 모델 제공업체가 존재하며, 이는 langchain 내에서 총 700개가 넘는 다양한 통합 기능을 의미합니다.
• 생태계의 성숙: 기업과 스타트업 모두에게 초점은 단순히 프로토타입을 만드는 것에서 LLM 애플리케이션을 운영 준비 상태(production-ready)로 만드는 것으로 이동했습니다.

마지막 지점에 대해 자세히 살펴보겠습니다. 저희가 처음 공개한 오픈 소스 라이브러리 langchain은 (그리고 여전히) 몇 줄의 코드로 일반적인 LLM 앱 사용 사례를 시작하기 쉽게 만들었습니다. 그러나 생태계가 성숙해지면서, '시작하기 쉬운 것'이 곧 '운영 환경에 배포하기 쉬운 것'은 아님을 알게 되었습니다.

자연스럽게 저희는 다음과 같은 질문을 던졌습니다: 개발자들이 자신들의 애플리케이션을 실제 사용자에게 배포하는 것을 막는 것은 무엇일까?

LangSmith와 LangGraph의 필요성

LangSmith: 운영 환경용 LLM 앱 테스트 및 관측 가능성(observability)

초기 langchain 사용자 및 파트너들과의 대화에서, 저희는 일관되게 LLM의 신뢰성이 큰 걸림돌이라는 이야기를 들었습니다. 대부분의 엔지니어에게 모델을 통합하는 것만으로는 충분하지 않았습니다. LLM이 지속적으로 올바른 결정을 내리도록 하는 것은 심각한 노력이 필요했습니다. 그 결과, 프롬프트 엔지니어링(Prompt engineering)은 자체적인 전문 분야로 발전하게 되었습니다.

이러한 필요성을 일찍 감지하고, 우리는 2023년 초부터 LangSmith를 개발하기 시작했습니다. 이는 두 가지 핵심 요구사항인 **관측 가능성(observability)**과 **평가(evaluation)**를 해결하기 위함이었습니다. 관측 가능성은 개발자가 LLM 앱의 어느 부분에서 문제가 발생하는지 정확히 파악하는 데 도움을 주며, 평가는 회귀를 방지하고 지속적인 앱 개선을 보장합니다. 이 두 가지 핵심 요소 — LLM 앱 문제 식별과 체계적인 성능 개선 — 는 오늘날에도 LangSmith의 중심에 있습니다.

LangSmith를 구축하면서, 우리는 Moody's, Elastic, Podium, Rakuten 같은 고객들과 긴밀하게 협력하여 제품을 다듬었습니다. 그 과정에서, 우리는 LLM 앱 테스트 및 평가에 대한 모범 사례들을 계속 수집했으며, LangSmith가 AI/ML 팀이 자신들의 AI 어시스턴트 및 챗봇 상호작용에 대해 깊은 가시성을 확보할 뿐만 아니라 까다로운 문제를 신속하게 테스트하고 디버깅하는 조치를 취할 수 있도록 도왔다는 것을 확인했습니다.

LangGraph: 유연한 오케스트레이션을 통한 에이전트 제어

우리가 재능 있는 빌더, 스타트업, 기업들과 협력하면서 또 다른 과제가 발생했습니다. 2023년 초여름 무렵에는 LangChain의 상위 레벨 사전 구축 구조만으로는 프로덕션 사용 사례를 충족하기에 충분하지 않다는 것이 분명해졌습니다. 우리는 기성(off-the-shelf) 체인이 너무 경직되어 있고, 미리 구성된 에이전트가 개발자가 대규모로 필요로 하는 신뢰성을 갖추지 못하다는 이야기를 계속 들었습니다.

우리는 신뢰도를 높이기 위해서는 개발자들이 자신들의 애플리케이션의 인지 아키텍처(cognitive architectures)에 대해 더 많은 통제권이 필요하다는 것을 깨달았습니다. 모든 피드백에서 영감을 받아, 우리는 LangGraph를 구축했습니다. 이는 개발자가 정밀하게 정의된 워크플로우부터 보다 자율적이고 적응형 에이전트에 이르기까지 스펙트럼에 걸쳐 에이전트를 구축할 수 있게 해주는 유연한 오케스트레이션 프레임워크입니다. LangGraph는 사용자가 자신들의 개별 또는 비즈니스 요구사항에 맞게 에이전트를 사용자 정의할 수 있는 유연한 아키텍처를 제공합니다. 인간 참여(human-in-the-loop) 지원 및 조정 루프를 통해, LangGraph 사용자는 신뢰할 수 있는 출력을 보장하기 위해 자신들의 에이전트 행동에 대해 더 많은 통제권을 갖게 됩니다.

이미, 우리는 LangGraph를 기반으로 구축된 흥미로운 사용 사례들을 목격했습니다. Replit의 코딩 에이전트부터 Unify의 영업 에이전트에 이르기까지, 이들은 복잡한 작업을 안정적으로 처리하는 데 있어 에이전트의 필요성을 검증하는 데 도움을 주었습니다.

오늘날의 LangChain 오픈 소스

그렇다면 오늘날 LangChain 오픈 소스 패키지들은 어떤 상태이며, 2년 전과 무엇이 달라졌을까요? 오늘날 langchain은:

더 안정적입니다. 생성형 AI 생태계가 안정화됨에 따라 langchain도 안정화되었습니다. 우리는 2024년 초에 첫 번째 안정 버전(stable release)에 도달했으며, 이후로는 파괴적인 변경 사항(breaking changes)이 있는 릴리스가 단 두 번밖에 없었습니다.
더 포괄적입니다. GenAI의 폭발적인 성장과 함께 통합 기능은 여전히 langchain의 주요 부분입니다.

여기서 우리는 놀라운 커뮤니티 덕분에 큰 수혜를 입고 있습니다. 벡터 스토어(vector stores)부터 리트리버(retrievers), 문서 로더(document loaders)에 이르기까지 LLM과 연결할 수 있는 것이 너무나 많으며, 통합 패키지에 기여해 준 모든 분들께 진심으로 감사합니다. 이제 우리는 또한 최고의 파트너들을 위한 전용 통합 패키지들과 다양한 컴포넌트에 대한 표준화된 테스트를 갖추게 되었습니다.
더 프로덕션 준비가 되어 있습니다. 개발자들이 프로토타입에서 프로덕션 애플리케이션으로 초점을 옮기면서, 우리는 langchain을 그에 맞게 조정했습니다. 최고의 관측 가능성(observability)과 테스트 기능을 제공하기 위해 LangSmith를 구축하는 동안, 우리는 그것이 langchain과 원활하게 통합되도록 했습니다. 그리고 강력한 사용자 정의 인지 아키텍처(cognitive architectures)를 구현할 수 있도록 langgraph 프레임워크를 구축하면서, 우리는 langchain 컴포넌트를 통합하고 오래된 langchain 체인들을 더욱 견고한 LangGraph 애플리케이션으로 마이그레이션하는 방법을 시연했습니다.

langchain이 성장함에 따라, 우리의 커뮤니티도 함께 성장했습니다. 지난 한 해 동안:

• 우리는 LangChain의 기여자를 Python과 JS 전반에 걸쳐 2000명에서 4000명으로 두 배로 늘렸습니다.
• LangChain을 구동하는 앱의 수는 3만 개에서 13만 2천 개로 사배가 되었습니다.
• Python과 JS 전반에 걸친 총 다운로드 수는 2,000만 건에서 1억 3천만 건 이상으로 급증했습니다.

LangChain 커뮤니티 챔피언과 앰버서더 여러분께 특별히 감사드립니다. 이분들 덕분에 버그를 잡고, 문제를 해결하며, LangChain 제품을 모두가 쉽게 접근할 수 있도록 교육 콘텐츠를 제작할 수 있었습니다.

Aditya Thomas (sepiatone), Allen Firstenberg (afirstenberg), Andres Torres, Christophe Bornet (cbornet), Clemens Peters (clemenspeters), Colin McNamara (colinmcnamara), Daniel Nastase (js_craft_hq), Eden Marco (emarco177), Francisco Ingham (fpingham), gbaian10, Greg Kamradt (gregkamradt), Harry Zhang (zhanghaili0610), Marlene Mhangami (marlenezw), Rick Garcia (gitmaxd), Tom Spencer, Virat Singh (virattt)

LangChain의 앞으로 나아갈 길

제가 2년 전 langchain을 출시했을 때 목표는 추론(reason)하는 LLM 애플리케이션을 최대한 쉽게 구축할 수 있도록 하는 것이었습니다. 이제 회사로서, 같은 목표가 지난 2년간 저희를 움직이게 했고, langchain을 개선하고

그리고 다양한 니즈를 해결하는 독립적인 제품들을 만들도록 했습니다.

저희는 이 분야가 아직 초기 단계이며, 개발자들이 혁신적인 애플리케이션을 만들 수 있도록 구현할 도구가 매우 많다고 생각합니다. 저희는 langchain,
LangGraph, 그리고 LangSmith가 그 퍼즐의 핵심 조각이라고 생각하며 — 시간이 지남에 따라 더 많은 구성 요소들이 나타날 것이라고 확신합니다. 놀라운 커뮤니티의 지원과 피드백을 바탕으로, 저희는 모든 것을 시작하게 한 langchain의 비전에 충실하면서도 새로운 방향을 탐색하며 LangChain을 계속 발전시켜 나갈 것입니다.

LangChain 커뮤니티에 참여하세요

저희가 LLM 애플리케이션의 미래를 함께 만들어가는 여정에 여러분을 초대하고 싶습니다! 참여할 수 있는 몇 가지 방법이 있습니다:

• Slack 커뮤니티 가입: langchain.com/join-community
• 오픈 소스 프로젝트 기여: python.langchain.com/docs/contributing/
• 이벤트 참석: lu.ma/langchain
• 최신 제품 업데이트 받기: changelog.langchain.com
• 더 알아보기: langchain.com/community