관측성 (Observability)은 LLM 애플리케이션을 디버깅하고 최적화하는 데 매우 중요하지만, 지금까지 시스템의 전체적인 모습을 파악하려면 여러 도구와 형식을 번거롭게 병행해서 사용해야 했습니다. 이제 LangSmith는 LangChain 및/또는 LangGraph를 기반으로 구축된 애플리케이션에 대해 완전한 엔드 투 엔드 (end-to-end) OpenTelemetry 지원을 제공합니다.

우리의 OpenTelemetry (OTel) 통합을 통해 스택 전반에 걸쳐 트레이싱 (tracing)을 표준화하고, 에이전트 라이프사이클을 위한 테스트 및 관측성 플랫폼인 LangSmith 또는 다른 관측성 플랫폼으로 트레이스를 전송할 수 있습니다.

이전에는 LangSmith가 백엔드 트레이스 수집 형식으로서만 OpenTelemetry를 지원했습니다. 이번 업데이트를 통해 LangSmith SDK에 직접 네이티브 OpenTelemetry 지원을 추가함으로써 전체적인 그림을 완성했습니다.

LLM 애플리케이션에 왜 OpenTelemetry가 필요한가요?

OpenTelemetry (OTel)는 텔레메트리 (telemetry) 데이터가 수집, 내보내기 및 분석되는 방식을 표준화하는 오픈 소스 관측성 프레임워크입니다. 애플리케이션이 점점 더 복잡해지고 분산됨에 따라, OpenTelemetry는 성능을 추적하고, 시스템 동작을 이해하며, 문제를 해결하는 일관된 방법을 제공합니다.

LLM 애플리케이션의 경우, 관측성은 독특한 과제들을 제시합니다. 전통적인 애플리케이션 모니터링은 오류와 예상된 동작의 준수에 집중하지만, LLM 관측성은 다단계 워크플로 (multi-step workflows)를 이해하고 단순한 오류율을 넘어 복잡한 평가 지표를 가진 동적이고 확률적인 (stochastic) 출력을 모니터링하는 것을 요구합니다.

OpenTelemetry는 다양한 언어, 프레임워크 및 백엔드에서 작동하는 계측 (instrumentation)을 위한 통합된 벤더 중립적 (vendor-neutral) 표준을 제공함으로써 이러한 과제들을 해결합니다.

우리의 OpenTelemetry 파이프라인 작동 방식

이번 업데이트를 통해 LangSmith는 이제 LLM 애플리케이션을 위한 완전한 OpenTelemetry 파이프라인을 제공합니다:

LangChain 계측 (instrumentation): LangChain 또는 LangGraph 애플리케이션으로부터 상세한 트레이스 (traces)를 자동으로 생성합니다.
LangSmith SDK: OpenTelemetry의 표준화된 형식을 사용하여 SDK를 통해 이러한 트레이스를 변환하고 전송합니다.
LangSmith 플랫폼: 강력한 LLM 전용 관측성 (observability) 대시보드에서 트레이스를 수집하고 시각화합니다.

이 엔드 투 엔드 (end-to-end) 통합은 다음과 같은 몇 가지 핵심적인 이점을 제공합니다:

통합된 관측성 (Unified observability): LangChain 컴포넌트부터 기반 인프라에 이르기까지 전체 애플리케이션 스택을 하나의 응집된 뷰로 확인할 수 있습니다.
분산 트레이싱 (Distributed tracing): 컨텍스트 전파 (context propagation)를 통해 관련 스팬 (spans)이 동일한 트레이스에 연결되도록 보장함으로써, 마이크로서비스 아키텍처를 통과하는 요청의 흐름을 추적할 수 있습니다.
상호 운용성 (Interoperability): OpenTelemetry 표준을 통해 Datadog, Grafana, Jaeger와 같은 플랫폼을 포함한 기존의 관측성 도구 및 인프라와 LangSmith를 연결할 수 있습니다.

이 통합을 통해 초기 프롬프트부터 최종 응답에 이르기까지 LLM 애플리케이션의 전체 실행 경로를 추적할 수 있으며, 그 과정의 각 단계에 대해 상세한 가시성을 확보할 수 있습니다.

LangSmith에서 OpenTelemetry 시작하기

1. 설치

OpenTelemetry 지원이 포함된 LangSmith 패키지를 설치합니다:

pip install "langsmith[otel]"

pip install langchain

2. OpenTelemetry 통합 활성화

LANGSMITH_OTEL_ENABLED 환경 변수를 설정하여 OpenTelemetry 통합을 활성화할 수 있습니다:

LANGSMITH_OTEL_ENABLED=true

LANGSMITH_TRACING=true

LANGSMITH_ENDPOINT=https://api.smith.langchain.com

LANGSMITH_API_KEY=<your_langsmith_api_key>

3. 트레이싱 기능이 포함된 LangChain 애플리케이션 생성

다음은 LangChain에서 OpenTelemetry 통합을 사용하는 방법을 보여주는 간단한 예시입니다:

import os

from langchain_openai import ChatOpenAI

from langchain_core.prompts import ChatPromptTemplate

# LANGSMITH_OTEL_ENABLED 환경 변수가 설정되어 있으므로
# LangChain은 LangSmith로 트레이스를 보내기 위해 자동으로 OpenTelemetry를 사용합니다.

체인 생성

prompt = ChatPromptTemplate.from_template("{topic}에 관한 농담을 해줘")

model = ChatOpenAI()

chain = prompt | model

체인 실행

result = chain.invoke({"topic": "programming"})

print(result.content)

4. LangSmith에서 트레이스(Traces) 확인하기

애플리케이션이 실행되면, 다음과 같이 LangSmith 대시보드에서 트레이스(Traces)를 확인할 수 있습니다.

성능 고려 사항

우리의 엔드 투 엔드 (end-to-end) OpenTelemetry 지원은 최대의 유연성과 상호 운용성 (interoperability)을 제공하지만, LangSmith의 네이티브 트레이싱 (native tracing) 형식과 비교했을 때 오버헤드 (overhead)가 약간 더 높습니다.

관측성 (observability) 플랫폼으로 LangSmith만을 독점적으로 사용하는 사용자에게는 최적의 성능을 위해 여전히 네이티브 트레이싱 형식을 권장합니다. 네이티브 형식은 대기 중인 실행 (pending runs)에 대한 실시간 트레이싱, 더 빠른 수집 (ingest) 속도, 그리고 SDK의 메모리 오버헤드 감소를 제공합니다.

네이티브 LangSmith 트레이싱 형식은 LLM 애플리케이션을 위해 특별히 설계되었으며 몇 가지 주요 장점을 제공합니다. 범용적인 OpenTelemetry 형식에 비해 계산 및 메모리 사용량 (footprint)이 적어 오버헤드가 현저히 낮습니다. 또한 우리의 네이티브 형식은 LLM 애플리케이션에서 발견되는 고유한 데이터 패턴과 볼륨에 맞춤화되어 있습니다.

지금 바로 시작해보세요

OpenTelemetry를 사용하여 LangChain 및 LangGraph 애플리케이션의 트레이싱을 시작할 준비가 되셨나요? 더 자세한 내용과 예시는 전체 문서를 확인해 보세요. 아직 사용해 보지 않으셨다면 LangSmith를 무료로 체험해 보시기 바랍니다.