LangSmith Engine에 추가된 기능: 레드팀 및 자동화 테스트

주요 요점

에이전트를 위한 레드팀: Engine은 에이전트가 프로덕션 환경에서 문제가 발생하기 전에 선제적으로 문제를 찾아냅니다.
더 많은 유형의 문제 감지: Engine은 비효율적인 에이전트 경로와 오류율, 지연 시간(latency), 비용 추세 등을 감지합니다.
제안된 수정 사항 자동 테스트: Engine은 이제 프롬프트 및 코드 수정 사항을 사용자에게 보여주기 전에 테스트하고 검증합니다.

저희는 개발자들이 버그를 해결하는 데 시간을 덜 쓰고 새로운 기능을 구축하는 데 더 많은 시간을 할애할 수 있도록 LangSmith Engine을 구축했습니다.

Engine은 에이전트 개발 라이프사이클(ADLC)의 각 단계에서 작업을 자동화하는 인플랫폼 에이전트입니다. 에이전트는 이러한 작업에 매우 적합합니다. 대규모 데이터셋 분석 및 코드 작성에 탁월하여, 미묘한 문제를 발견하고, 수정 사항을 작성하며, 회귀(regressions)를 모니터링하는 데 뛰어납니다.

5월 출시 이후, Engine은 7천만 개 이상의 트레이스(traces)를 분석하고 수만 건의 문제를 진단했습니다.

오늘 v2가 출시되면서, Engine은 더 많은 작업을 수행하게 되어 사용자가 수정 사항을 더 빠르게 배포하고 프로덕션 환경에 나타나기 전에 문제를 감지할 수 있도록 돕습니다. Engine v2:
**
에이전트를 위한 레드팀: 버그와 프롬프트 문제를 선제적으로 감지합니다.
더 찾기 어려운 문제 감지: 비효율성 및 오류율, 지연 시간(latency), 비용 추세 같은 문제를 감지합니다.
제안된 수정 사항 자동 검증: 인간의 검토 및 배포 전에 제안된 수정 사항을 자동으로 검증합니다.

LangSmith Engine이 하는 일

Engine은 에러부터 충족되지 않은 사용자 요청에 이르기까지 프로덕션 트레이스를 스캔하여 개선할 영역을 찾습니다. 문제가 식별되면, Engine은 이를 분류하고 관련 트레이스들을 단일 문제로 그룹화합니다. 각 기록에는 사용자가 조치를 취하는 데 필요한 모든 정보가 포함됩니다: 근본 원인(root cause), 제안된 수정 사항, 평가 데이터셋을 위한 정답 예시(ground truth examples), 그리고 지속적인 모니터링입니다.

Engine은 LangSmith가 수집한 데이터를 실제로 활용하여, 에이전트 개발 라이프사이클(ADLC)을 더 빠르게 진행하고 에이전트를 개선할 수 있도록 돕습니다.

The agent development lifecycle

Engine v2를 통해 저희는 이 핵심 작업들 중 두 가지, 즉 문제 식별과 해결책 제안에 초점을 맞추어 개선을 진행했습니다.

에이전트 문제 선제적 감지하기

Engine v2에서는 Red Teaming이라는 선제적인 문제 해결 도구를 도입하여, 환각(hallucinations)이나 시스템 프롬프트 위반과 같은 문제를 실제 사용자에게 영향을 주기 전에 포착할 수 있습니다. Red Teaming은 에이전트의 프로덕션 트레이스 및 저장소(repos)를 분석하여 목적과 동작 방식을 이해하고, 이 컨텍스트를 활용해 약점을 테스트하며 아직 프로덕션에서 표면화되지 않은 문제들을 식별합니다. 따라서 미래의 실패를 예측하는 관련성 높고 검증된 문제 목록을 얻어 선제적으로 대응할 수 있습니다.

Red Teaming은 현재 기존 LangSmith Deployment 사용자에게 Private Beta로 제공됩니다. 여기에서 베타 참여 신청을 할 수 있습니다.

발견하기 어려운 문제 감지하기

Engine v2는 이제 프로덕션 트레이스에서 인간의 검토를 피해 고객 영향이나 LLM 비용으로 이어질 때까지 남아있던, 발견하기 더 어려운 문제들을 찾아낼 수 있습니다. 에이전트가 예상대로 작동하는 것처럼 보이더라도, 지연 시간(latency)의 미묘한 저하가 사용자에게 불편을 줄 수 있고, 비효율적인 에이전트 궤적은 토큰을 낭비합니다.

Engine v2는 이러한 문제들을 플래그 지정하여 비즈니스에 영향을 주기 전에 해결할 수 있도록 합니다.

비효율적인 작업: Engine은 에이전트가 주어진 작업을 완수하기 위해 잘못되거나 반복적인 도구 호출을 하는 등 비효율적인 경로를 밟고 있는지 분석하고, 보다 효율적인 대안을 제안합니다.성능 추세: Engine은 오류율(error rate), 지연 시간, 비용과 같은 핵심 지표의 추세를 추적합니다.

모든 문제는 동일한 대기열에서 추적되므로, 모든 에이전트 문제를 한 곳에서 추적하고 해결할 수 있습니다.

사전 검증된 수정 사항 배포하기

Engine은 이미 감지한 문제에 대해 수정 방안을 제시해 왔습니다. 하지만 이전에는 사용자가 그 수정 사항을 프로덕션 환경에 배포하고 라이브 트래픽에서 성능을 모니터링할지, 아니면 수동 검토를 수행하고 오프라인으로 테스트한 후 수정 사항을 배포할지 선택해야 했습니다. 테스트 없이 출시하는 것은 나쁜 고객 경험을 초래할 위험이 있습니다. 수동 테스트는 제품 개발 속도를 늦춥니다.

LangSmith Deployment를 사용하는 에이전트의 경우, Engine은 이제 제안된 수정 사항을 검토 대기열에 넣기 전에 유효성을 검사합니다. Engine v2가 문제를 발견하면, 먼저 문제가 되는 입력값들을 Deployment에서 해당 에이전트에 실행하여 실패를 재현합니다. 그런 다음, 수정 개발 프로세스를 시작합니다: 변경 사항을 제안하고, 동일한 입력값으로 테스트하며, 결과를 평가한 후, 수정 사항을 조정하는 것입니다. 각 테스트를 거치면서 수정 사항은 더욱 강력해집니다. Engine이 수정 사항이 문제를 해결했음을 확인하면, LangSmith에서 사용자에게 해당 수정 사항을 제공하며, 사용자는 클릭 한 번으로 PR(Pull Request)을 열어 빠르게 배포할 수 있습니다.

LangSmith Engine v2 automated testing

이 기능은 오늘부터 기존 LangSmith Deployment 사용자에게 Private Beta로 제공됩니다. 관심 있으시면 여기서 가입하세요.

Engine의 기본 성능 개선하기

새로운 기능 외에도, 저희는 핵심 작업에 대한 Engine의 성능을 지속적으로 개선하고 있습니다. Engine이 더 높은 영향도의 문제를 발견하고 더 효과적인 수정 사항을 생성할수록, 사용자는 에이전트의 문제를 더 빠르게 해결할 수 있습니다.

저희는 내부 및 외부 벤치마크 대비 성능을 높이기 위해 Engine의 하네스(harness), 프롬프트(prompts), 그리고 기반 모델에 정기적으로 개선 작업을 진행하고 있습니다. 지난 8월에 공유했듯이, Engine은 이제 문제 감지 능력(IssueBench 기준)이 2배 이상 향상되었으며, 수정 사항 제공 효과성(Terminal-Bench 기준) 또한 25% 더 높아졌습니다.

다음 계획: 자체 호스팅 Engine을 위한 BYOK

다음 계획: 자체 호스팅(Self-hosted) Engine을 위한 BYOK

데이터 정책이 엄격하여 LangSmith를 자체 호스팅 환경에서 운영하는 팀들을 위해, 저희가 출시할 차기 버전의 자체 호스팅 LangSmith는 Engine에 대한 Bring-Your-Own-Key (BYOK) 기능을 지원합니다. 이를 통해 팀들은 추론(inference) 엔진 구동을 위한 자신들의 모델 API 키를 제공할 수 있으며, 동시에 트레이스 데이터는 사용자의 VPC 내부에 유지됩니다. 저희는 차기 자체 호스팅 릴리스에서 Engine에 대한 BYOK의 더 자세한 내용을 공유할 예정입니다.

시작하기

Engine v2는 모든 LangSmith Plus 및 Enterprise 플랜의 SaaS 배포 환경에서 이용 가능합니다. 자체 호스팅(Self-Hosted) 플랜에서의 Engine v2 지원은 곧 제공될 예정입니다. 가격 세부 정보는 여기에서 확인할 수 있습니다.

Plus 플랜을 사용 중이라면, 몇 번의 클릭만으로 Engine을 활성화할 수 있습니다.

Enterprise 플랜을 사용 중이라면, 계정 팀에 문의하여 시작하실 수 있습니다.

LangSmith가 처음이신가요? 오늘 바로 시작해 보세요.