LangSmith: 재설계된 제품 홈페이지와 리소스 태그를 통한 개선된 구성

오늘 저희는 LangSmith 제품 홈페이지의 재설계와 작업 공간 내 리소스 관리를 위한 향상된 지원 기능을 출시하게 되어 기쁩니다. 이러한 업데이트는 엔지니어링 팀이 LLM 애플리케이션을 구축하고, 최적화하며, 반복하는 방식에 대한 지속적인 통찰력을 반영합니다. 본 게시물에서는 저희가 새롭게 정립한 믿음과 그것이 디자인에 어떻게 영향을 미쳤는지 안내해 드리겠습니다.

LangSmith 홈페이지 재설계 접근 방식

수천 명의 개발자 및 기업과의 협업을 통해, 저희는 그들이 LLM 애플리케이션을 구축할 때 세 가지 주요 영역에서 작업한다는 것을 관찰했습니다: 관측 가능성(observability), 평가(evaluation), 그리고 프롬프트 엔지니어링(prompt engineering). 각 영역이 효과적인 개발자 워크플로우에서 수행하는 중요한 역할을 반영하기 위해, 저희는 LangSmith 제품 홈페이지를 이 세 가지 영역으로 분할했습니다.

관측 가능성 (Observability)

LangSmith의 이 섹션에는 Tracing Projects와 Dashboards가 포함됩니다.

AI 엔지니어들에게 가장 큰 권장 사항 중 하나는 “자신의 데이터를 살펴보라”는 것인데, LangSmith는 사용자들을 돕고 시간이 지남에 따라 LLM 애플리케이션의 성능을 이해하며 문제를 식별할 수 있게 함으로써 이를 가능하게 합니다.

Tracing Projects는 AI 애플리케이션에서 방출되는 트레이스(traces)들의 모음입니다. 이 페이지 안에서 사용자는 트레이스를 검색하고 필터링한 다음, 특정 트레이스를 클릭하여 더 자세한 보기로 이동할 수 있습니다. 이러한 데이터 포인트 수준의 관측 가능성은 애플리케이션에서 무슨 일이 일어나고 있는지 이해하는 데 매우 중요하며, 이를 통해 빠르게 디버깅하고 문제를 식별할 수 있습니다.

Dashboards는 사용자가 가장 중요한 지표를 추적하기 위해 맞춤형 모니터링 차트를 생성할 수 있도록 합니다. 여기에는 비용(cost), 지연 시간(latency), 품질(quality)과 같은 기본적인 지표뿐만 아니라, 시간이 지남에 따른 에이전트 액션이나 실시간 평가 점수와 같은 더 구체적인 기준도 포함됩니다.

저희의 관측 가능성 기능은 사용자가 개발 단계에서의 상세한 디버깅부터 프로덕션 환경에서의 대규모 성능 모니터링에 이르기까지, LLM 애플리케이션 수명 주기(lifecycle)의 모든 단계에서 최적화할 수 있도록 지원하도록 설계되었습니다.

평가 (Evaluation)

평가 (Evaluation)

이 섹션에는 LangSmith의 Datasets, Experiments, Annotation Queues가 포함됩니다.

LLM 애플리케이션을 평가하는 것은 개발 과정에서 종종 병목 현상을 일으킵니다. 고품질의 지속적인 평가(continuous evaluations) 또는 'evals'는 개발자가 자신의 애플리케이션이 얼마나 잘 작동하는지 이해하고 개선할 영역을 정확히 파악하도록 돕습니다. LangSmith Evaluation은 추측을 제거하여 정확도, 스타일 및 기타 주요 기준과 같은 지표 전반에 걸친 회귀(regressions) 또는 개선 사항을 강조합니다.

먼저, LangSmith는 **데이터셋(datasets)**을 쉽게 구성할 수 있게 합니다. 사용자는 기존 데이터를 가져오거나 LangSmith의 Observability 섹션에 있는 로그에서 데이터 포인트를 자동으로 추가할 수 있습니다. 그런 다음 이러한 데이터셋으로 실험을 실행하고, 자동 평가 도구(automatic evaluators)로 결과를 점수화하며, 시간이 지남에 따라 이 결과를 추적할 수 있습니다.

사람의 검토는 LLM 애플리케이션을 평가하는 데 여전히 중요한 부분이며, LangSmith는 Annotation Queues를 통해 이 과정을 간소화합니다. Annotation Queues를 사용하면 사용자가 인간의 검토가 필요한 데이터 포인트를 구성하고 관리할 수 있어, 검토자(reviewers)의 워크플로우를 간소화하고 일관되고 고품질의 피드백을 보장합니다.

프롬프트 엔지니어링 (Prompt Engineering)

이 섹션에는 LangSmith의 Prompts와 Playground가 포함됩니다.

효과적인 프롬프트 엔지니어링은 응답성이 뛰어나고 신뢰할 수 있는 LLM 애플리케이션을 구축하는 데 필수적입니다. LangSmith는 사용자가 프롬프트를 저장하고 버전 관리할 수 있도록 하여, 그 진화 과정을 쉽게 추적하고 팀원들과 원활하게 협업할 수 있게 합니다.

또한, LangSmith의 Playground는 사용자가 프롬프트를 실시간으로 반복(iterate)할 수 있게 합니다. 사용자는 개별 데이터 포인트 또는 전체 데이터셋에 대해 프롬프트를 실행하여 규모 면에서 그 영향을 평가할 수 있습니다. Playground는 또한 서로 다른 프롬프트 및 모델 조합이 어떻게 작동하는지에 대한 나란히 비교(side-by-side comparisons)도 가능하게 합니다.

프롬프트 엔지니어링(Prompt engineering)은 우리가 경계를 넓히는 데 관심을 갖고 있는 분야입니다. '프롬프트 엔지니어링을 위한 IDE'가 실제로 어떤 모습일 수 있을까요? 저희는 이 질문에 깊이 파고들며, 프롬프트 엔지니어가 필요로 하는 도구들을 재구상하고 있으며, 곧 몇 가지 아이디어를 공유하게 되어 기대됩니다.

시작하기 위한 온보딩 가이드(Onboarding guides)

새로운 사용자들이 빠르게 시작할 수 있도록, 홈페이지 상단에 관측 가능성(Observability), 평가(Evaluation), 프롬프트 엔지니어링(Prompt Engineering)을 다루는 온보딩 가이드를 추가했습니다.

리소스 태그를 통한 개선된 리소스 구성(Improved resource organization with Resource Tags)

LangSmith에서 **워크스페이스(Workspaces)**는 리소스를 분리하고 조직 내의 다른 팀이나 사업부별로 전용 환경을 제공하도록 설계되었습니다. 하지만 LangSmith에서 팀이 성장함에 따라, 워크스페이스 내부에서 더 나은 리소스 구성에 대한 필요성도 커졌습니다. 올해 초, 저희는 리소스 그룹화와 접근성을 향상하기 위해 **리소스 태그(Resource Tags)**를 도입했습니다.

이제 리소스 태그가 훨씬 더 직관적이고 유연해졌습니다. 일반적인 애플리케이션의 경우, 다양한 LLM 파이프라인을 위한 여러 트레이싱 프로젝트, 다양한 데이터셋, 수많은 프롬프트, 그리고 수많은 주석 큐(annotation queues)를 가질 수 있습니다. 저희는 이러한 리소스들을 논리적으로 그룹화하고 접근하는 방식을 단순화하는 것을 목표로 합니다.

초기에는 각 리소스가 단일 애플리케이션에 속하는 엄격한 '애플리케이션' 개념을 도입하는 것을 고려했습니다. 하지만 UX 연구 결과, 이는 너무 경직되어 있다는 것이 밝혀졌습니다. 사용자들은 종종 여러 프로젝트에 걸쳐 리소스를 필요로 하거나, 단순히 프로젝트별이 아니라 환경(예: dev, staging 또는 prod)별로 리소스를 구성하고 싶어 합니다.

리소스 태그는 이제 이러한 맞춤형 그룹화를 제공합니다. 기본적으로 '애플리케이션'으로 필터링할 수도 있고, 워크플로우에 맞는 사용자 지정 태그를 생성하고 필터링할 수도 있습니다. 이러한 유연성은 환경 기반 분리를 포함하여 다양한 조직적 요구 사항을 지원하며, 리소스를 쉽게 찾고 관리할 수 있게 합니다.

보안 및 사용자 정의 기능을 더욱 강화하기 위해, 곧 리소스 태그에 대한 속성 기반 접근 제어(Attribute-Based Access Control, ABAC)를 도입할 예정입니다. 이 기능은 팀이 특정 태그 속성을 기반으로 조건부 권한을 할당하여 세밀한 접근 제어를 가능하게 하므로, 사용자는 여러 프로젝트와 환경에 걸쳐 리소스를 안전하게 구성하고 접근할 수 있습니다.

LangSmith 사용해보기

오늘 smith.langchain.com에서 새로운 LangSmith 홈페이지와 기능을 탐색해 보세요. 앱 내 피드백 양식을 통해 의견을 알려주시면 감사하겠습니다.