LangSmith Custom Apps: 에이전트 데이터를 활용한 맞춤형 인터페이스 구축

핵심 요약

처음부터 다시 시작하지 않고 맞춤형 인터페이스를 만드세요. 템플릿과 코딩 에이전트의 도움을 받아 LangSmith 데이터 기반으로 구축하고, LangSmith 내부에서 게시 및 공유할 수 있습니다.
원하는 방식으로 에이전트 동작을 검토하세요. 피드백, 실험, 트레이스(traces) 그리고 애플리케이션에 가장 중요한 동작들을 위한 집중적인 UI를 구축할 수 있습니다.
프롬프트로 맞춤형 앱을 만드세요. LangSmith Chat을 사용하여 원하는 데이터와 표시 방법을 설명하면, 이를 작동하는 앱으로 변환합니다.

오늘 저희는 LangSmith의 Custom Apps 기능을 출시하며, 이 기능은 LangSmith 데이터를 기반으로 커스텀 UI를 구축하고, 게시하며, LangSmith 내부에서 직접 실행할 수 있게 해줍니다.

수천 개의 AI 엔지니어링 팀이 LangSmith를 사용하여 에이전트를 디버깅(debug), 평가(evaluate)하고 개선합니다. LangSmith는 레이턴시(latency), 비용(cost), 오류율(error rates)에 대한 사전 구축 대시보드를 포함하여, 우리가 본 가장 일반적인 사용자 요구사항을 기반으로 이러한 워크플로우를 위한 기본 UI를 제공하며, 실험 전반의 회귀(regressions)를 강조하는 비교 뷰도 제공합니다. 하지만 저희는 팀들이 종종 자신들의 품질 기준 및 검토 프로세스에 맞춰 데이터를 상호작용해야 할 필요가 있다는 것을 확인했습니다.

일부 팀들은 이미 LangSmith 데이터 주변에 커스텀 프런트엔드를 구축하여 이 문제를 해결하고 있습니다. 그들은 코딩 에이전트, LangSmith API, 그리고 내부 도구를 사용하여 자신들의 데이터에 대한 맞춤형 인터페이스를 만듭니다. 하지만 이러한 애플리케이션들은 호스팅(hosting), 인증(authentication), 권한(permissions), 공유를 포함하여 다른 모든 소프트웨어와 마찬가지로 지속적인 유지보수가 필요합니다.

이제 Custom Apps를 사용하면 LangSmith 데이터를 가지고 원하는 인터페이스를 구축하고, 이를 워크스페이스에 게시하며, 호스팅, 인증, 권한 작업을 건너뛸 수 있습니다.

Custom Apps 작동 방식

Custom Apps를 이용하면 채팅 프롬프트로 시작하거나 코드로 구축할 수 있습니다. Plus 및 Enterprise 플랜에서는 LangSmith Chat에게 보고 싶은 데이터와 원하는 시각화 방법을 알려주면, Chat이 이를 작동하는 앱으로 변환합니다. 만약 직접 구축하고 싶다면, 제공되는 템플릿으로 시작하여 코딩 에이전트와 함께 LangSmith API를 기반으로 구축할 수 있습니다.

앱이 게시되면 워크스페이스 내에서 공유 인터페이스가 됩니다. 데이터를 내보내거나 정적인 뷰를 임시로 재구축할 필요 없이, 이 앱을 반복적인 워크플로우에 재사용하고 팀원들과 이미 트레이스(traces), 실험(experiments), 주석(annotations), 평가 결과(evaluation results)를 검토하는 곳에서 같은 장소에 공유할 수 있습니다.

LangSmith Custom Apps

Custom Apps는 동일한 검토 프로세스를 반복해야 할 때 특히 유용합니다. 몇 가지 일반적인 사용 사례는 다음과 같습니다.

주석 작성자에게 적절한 컨텍스트 제공하기

인간 피드백(Human feedback)은 AI 시스템 개선을 위한 가장 중요한 입력값 중 하나입니다. 자동화된 평가(Automated evals)가 패턴을 찾는 데 도움을 줄 수 있지만, 여전히 사람의 검토를 통해 출력을 검토하고, 행동을 판단하며, 애플리케이션에 '좋음'이 무엇인지 설명할 필요가 있습니다.

그러한 검토는 종종 누가 작업을 수행하느냐에 따라 달라집니다. 엔지니어는 도구 호출(tool calls), 메타데이터(metadata), 중간 단계 등을 포함하는 전체 트레이스가 필요할 수 있습니다. 주제 전문가(SME, Subject Matter Expert)는 사용자 요청, 모델 응답, 관련 컨텍스트, 그리고 명확한 루브릭만 필요할 수도 있습니다.

Custom Apps를 사용하면 검토자의 워크플로우에 맞는 주석 인터페이스를 만들 수 있습니다. 필요한 컨텍스트를 제공하고, 불필요한 세부 정보는 숨기며, 원하는 특정 피드백을 수집하도록 안내할 수 있습니다.

과거에는 인간 참여형(human-in-the-loop) 검토가 스프레드시트나 다른 개별 도구에 분산되어 있었습니다. 검토자들은 플랫폼 사이를 전환해야 했고, 저희 팀은 파일을 준비하고 형식을 표준화하는 데 많은 수동 노력을 들였습니다. 그래서 구조화된 LLM 평가 및 주석 작성을 위한 Custom App을 구축했습니다. 이 앱은 LangSmith 내부에서 실행되며 API를 통해 연결되므로, 저희 팀의 작업 방식에 맞는 검토 대기열(review queues)과 대시보드를 구축할 수 있습니다. 검토자가 대기열을 선택하고, 출력을 평가 및 편집하며, 결과를 데이터셋에 추가합니다. 이는 인간 참여형 검토를 위한 반복 가능한 프레임워크와, 팀 전반으로 확장하기 쉬운 단순화된 추적 및 평가를 제공합니다. – Roxanne Wang, Chime®

실험 비교 방식 사용자 정의하기

실험(Experiments)은 에이전트의 변경 사항이 의도한 결과를 달성했는지 평가하는 데 도움을 줍니다. 변경 사항을 배포하기 전에 일반적으로 애플리케이션에 중요한 개별 결과, 세그먼트 또는 실패 패턴을 검토해야 합니다.

이는 프롬프트 버전 간의 출력 비교, 모델 교체가 회귀(regressions)를 초래했는지 확인, 또는 고객 세그먼트, 실패 카테고리, 모델 제공업체 또는 내부 평가 루브릭별로 결과를 분할하는 것을 의미할 수 있습니다.

Custom Apps를 사용하면 이러한 의사결정 과정을 중심으로 실험 검토 인터페이스를 만들 수 있습니다. 즉, 가장 중요한 슬라이스를 강조 표시하거나, 대표적인 예시를 보여주거나, 출력을 나란히 비교하거나, 또는 배포 검토 과정에서 사용하는 형식으로 결과를 패키징할 수 있다는 뜻입니다.

이것은 특히 실험 검토가 반복되는 프로세스일 때 유용합니다. 매번 동일한 정적 차트나 맞춤 분석을 다시 구축하는 대신, LangSmith 데이터에 연결되어 있는 공유 앱을 만들고 모든 검토 주기에서 재사용할 수 있습니다.

트레이스(trace) 검토를 더 집중적으로 수행하기

트레이스 검토 프로세스는 일반적으로 실행하는 에이전트 유형에 따라 달라집니다. 고객 지원 에이전트의 경우, 어조와 에이전트가 문제를 해결했는지 여부에 초점을 맞출 수 있으며, 이는 대화를 읽어봐야만 판단할 수 있습니다. 반면에 연구 에이전트는 출처(sources)와 필요한 도구 호출(tool calls) 횟수로 평가될 수 있습니다.

이러한 검토가 일정에 따라 발생할 때, Custom Apps를 사용하면 행동이 변경된 지점, 어떤 단계에서 실패가 발생했는지, 또는 애플리케이션이 예상 프로세스를 따랐는지 등 가장 자주 묻는 질문을 중심으로 더 집중적인 UI를 만들 수 있습니다.

LangSmith 오픈 소스 디자인 시스템 활용하기

Custom Apps는 기본적으로 Macaw라는 LangSmith의 디자인 시스템을 사용합니다. 이를 통해 앱은 일관된 구성 요소와 아이콘을 포함하여 LangSmith의 나머지 부분과 동일한 시각적 언어를 갖게 됩니다.

또한 여러분은 디자인을 맞춤 설정할 자유도도 갖습니다. 만약 앱이 회사의 브랜드와 일치하기를 원한다면, 채팅이나 코딩 에이전트를 통해 어떤 종류의 커스터마이징이라도 추가할 수 있습니다 (예: “이것을 구식 매킨토시 소프트웨어처럼 보이게 만들어줘”).

오늘 출시와 함께 Macaw를 오픈 소스로 공개합니다. 저희는 계속해서 기능을 확장하고, 발전함에 따라 커뮤니티의 피드백을 환영하겠습니다.

이용 가능 여부 및 가격 책정

Custom Apps는 Plus 및 Enterprise 플랜에서 이용할 수 있습니다:

• Plus 플랜에는 조직당 1개의 Custom App과 채팅 경험이 포함됩니다.
• Enterprise 플랜에는 채팅 경험과 함께 무제한의 Custom Apps가 포함됩니다.

일반적인 사용 및 청구 정보는 가격 책정 페이지를 참조하십시오.

시작하기

LangSmith에 로그인하거나 가입하여 오늘 바로 Custom Apps를 사용해 보실 수 있으며, 더 자세한 내용은 문서를 방문해 주십시오.