LangChain Labs 소개

핵심 요약

LangChain Labs는 에이전트(Agents)의 지속적 학습 (Continual Learning)에 집중합니다. 목표는 트레이스 (Traces), 피드백 (Feedback), 평가 결과 (Eval results), 그리고 프로덕션 동작 (Production behavior)을 포함하여 에이전트가 이미 생성하는 데이터로부터 에이전트가 스스로 개선될 수 있도록 돕는 것입니다.

우리는 선도적인 연구 파트너들과 협력하고 있습니다. LangChain Labs는 Harvey, NVIDIA, Prime Intellect, Fireworks, 그리고 Baseten과 함께 이 작업을 시작합니다.

연구는 에이전트를 더 나은 성능으로, 더 저렴하게, 그리고 더 쉽게 평가할 수 있는 실질적인 방법에 집중할 것입니다. 초기 방향으로는 비용과 지연 시간 (Latency) 사이의 트레이드오프 (Tradeoffs) 개선, 더 나은 평가 및 시뮬레이션 환경 구축, 그리고 다양한 모델 제품군 (Model families)에 걸친 프롬프트 (Prompts) 최적화 등이 포함됩니다.

오늘 우리는 지속적 학습 (Continual learning)에 집중하는 새로운 응용 연구 노력인 LangChain Labs를 출시합니다. 우리의 목표는 모든 에이전트를 위한 개방형 응용 연구를 발전시키는 것입니다. 우리는 이 기술이 더 넓은 에이전트 구축 커뮤니티에 유용하게 쓰일 수 있도록 다양한 산업 분야의 파트너들과 협력하고 있습니다.

모든 에이전트 실행에는 유용한 신호 (Signal)가 포함되어 있습니다. 해결해야 할 과제는 어떻게 그 신호를 포착하고, 이를 사용 가능한 데이터로 변환하며, 그 개선 사항들을 적용할 것인가 하는 점입니다.

데이터를 포착하고, 변환하고, 저장하는 이 과정은 정확히 LangSmith가 구축된 목적이며, 이것이 우리와 고객들이 지속적 학습 (Continual learning)을 파악하는 데 있어 유리한 출발점을 제공할 것이라고 믿습니다.

이러한 변화는 에이전트 하네스 (Agent harness) 최적화, 서로 다른 모델 선택, 또는 모델 미세 조정 (Fine-tuning)과 같이 에이전트 스택 (Agent stack)의 다양한 계층에 적용될 수 있습니다.

우리는 Harvey, NVIDIA, Prime Intellect, Fireworks, 그리고 Baseten을 포함한 몇몇 초기 연구 파트너들과 함께 이 작업을 시작합니다.

"우리는 가장 복잡한 법률 업무를 위해 효율적이고 자기 개선이 가능한 에이전트에 대한 응용 연구를 추진하고자 LangChain Labs 팀과 협력하게 되어 기쁩니다." — Niko Grupen, Harvey 응용 연구 책임자 (Head of Applied Research)

우리가 다루고 있는 초기 연구 방향은 다음과 같습니다:

대규모 에이전트 데이터로부터 정보를 채굴하여 에이전트 개선하기 (Improving Agents by Mining Information from Large-Scale Agent Data): 에이전트(Agents)는 매우 빠른 속도로 소프트웨어 시스템에 통합되고 있습니다. 머지않아 에이전트가 몇 달 동안 생성할 데이터는 인류가 지금까지 총합으로 생성한 데이터보다 더 많아질 것입니다. 평가/환경 생성(eval/environment generation), 하네스 엔지니어링(harness engineering), 그리고 사후 학습(post-training)을 위해 해당 데이터에서 유용한 신호를 추출하는 것은 여전히 어려운 문제입니다. 트레이스(Traces)는 그 데이터의 원천이며, 우리는 모든 팀이 트레이스를 사용하여 더 나은 에이전트를 구축할 수 있도록 돕고자 합니다.

파레토 프런티어(Pareto Frontier)에서의 효율적인 에이전트: 에이전트는 비용, 지연 시간(latency), 그리고 작업 성능(task performance)과 관련된 실제 조직적 제약 조건 하에서 작동합니다. 세계에서 가장 중요한 많은 작업들에 대해, 우리는 에이전트가 스스로 개선될 수 있도록 하는 모델 하네스(models harnesses), 모델, 그리고 피드백 루프(feedback loops)의 가장 효율적인 조합을 아직 발견하지 못했습니다.

평가 및 시뮬레이션 환경의 체계적 구축: 에이전트를 적절하게 평가하려면, 종종 실제 운영 환경(production)에서 사용되는 방식과 유사한 환경에서 에이전트를 엔드 투 엔드(end-to-end) 방식으로 실행해야 합니다. 이러한 환경을 구축하는 것은 어렵고 시간이 많이 걸릴 수 있습니다. 우리는 평가, 시뮬레이션, 그리고 강화 학습(reinforcement learning)을 위한 환경을 더 쉽게 생성하고 실행할 수 있는 방법을 연구하고 있습니다.

프롬프트 최적화 (Prompt Optimization): 프롬프트는 모델 제품군(model families)마다 특화되어 있으며, 한 모델 제품군에서 다른 제품군으로 마이그레이션하는 것은 번거롭고 시간이 많이 걸리는 작업일 수 있습니다.

우리는 팀들이 작업에 적합한 모델을 쉽게 선택할 수 있는 멀티 모델(multi-model) 미래를 믿습니다. 모델 간 프롬프트 최적화는 이러한 마이그레이션을 더 쉽게 만들고 필요한 수동 튜닝(manual tuning)의 양을 줄이는 데 도움이 될 수 있습니다.

파트너들과 함께 진행 중인 초기 작업에는 에이전트가 서로 다른 수직적 도메인(vertical domains, 예: 법률 서비스) 사이에서 어떻게 일반화(generalize)되는지 측정하는 것, Nemotron과 같은 오픈 모델을 비용 효율적인 서브 에이전트(subagents)로 활용하기 위한 하네스 엔지니어링 및 미세 조정(fine-tuning), 그리고 팀들이 트레이스 데이터를 에이전트 개선을 위한 사용 가능한 데이터로 전환할 수 있도록 평가/환경(evals/environments)을 구축하는 것 등이 포함됩니다.

우리의 오픈 소스 (open-source) 생태계는 개발자들이 서로에게서 배우는 방식의 핵심적인 부분이었으며, 우리는 LangChain Labs가 그 패턴을 계속 이어가기를 바랍니다. 우리는 더 넓은 에이전트 구축 (agent-building) 커뮤니티에 도움이 되는 연구, 평가 (evals), 그리고 오픈 소스 통합 (open-source integrations)을 지속적으로 발표할 것입니다.

우리는 에이전트가 어떻게 학습하고, 적응하며, 개선되는지를 탐구하고자 하는 팀들과 파트너가 되고 싶습니다. 우리의 목표는 차세대 자기 개선 에이전트 (self-improving agents)를 구동하는 더 많은 공개 연구 (open research)를 발전시키는 것입니다.

우리는 우리가 배운 것을 공유하고 커뮤니티와 함께 이를 계속 구축해 나갈 수 있게 되어 기쁩니다.