LangSmith 평가를 위한 Pytest 및 Vitest 통합 기능 소개

import openai

import pytest

from langsmith import wrappers

from langsmith import testing as t

oai_client = wrappers.wrap_openai(openai.OpenAI())

# 앱 로직은 다른 곳에 정의하세요:

# @traceable

def generate_sql(user_query: str) -> str: ...

@pytest.mark.langsmith
def test_offtopic_input() -> None:

    # 테스트 케이스 입력 및 참조 출력을 기록합니다.
    user_query = "whats up"
    t.log_inputs({"user_query": user_query})
    expected = "Sorry that is not a valid question."
    t.log_reference_outputs({"response": expected})
    actual = generate_sql(user_query)
    t.log_outputs({"response": actual})

    # 평가 피드백을 생성하는 데 사용되는 모든 단계를 메인 애플리케이션 로직과 분리하여 추적하려면 이 컨텍스트 관리자를 사용하세요.
    with t.trace_feedback():
        instructions = (
"""

"otherwise return 0. Return only 0 or 1 and nothing else."

)
grade = oai_client.chat.completions.create(

model="gpt-4o-mini",
messages=[
	{"role": "system", "content": instructions},
	{"role": "user", "content": f"ACTUAL: {actual}\nEXPECTED: {expected}"},
],
)

score = float(grade.choices[0].message.content)
t.log_feedback(key="correctness", score=score)

assert actual

assert score

테스트를 평소처럼 시작하세요:

`pytest tests`

이렇게 하면 다른 pytest 테스트 실행과 동일하게 작동하며, 모든 테스트 케이스 결과, 애플리케이션 트레이스, 피드백 트레이스를 LangSmith에 기록합니다.

![](https://cdn.prod.website-files.com/65c81e88c254bb0f97633a71/69cbae0ccbdf13f9a16534bd_Screenshot-2025-01-22-at-8.32.21-AM.png)

![](https://cdn.prod.website-files.com/65c81e88c254bb0f97633a71/69cbae0ccbdf13f9a16534ad_Screenshot-2025-01-22-at-8.32.36-AM.png)

![](https://cdn.prod.website-files.com/65c81e88c254bb0f97633a71/69cbae0ccbdf13f9a16534ba_Screenshot-2025-01-22-at-8.34.31-AM.png)

![](https://cdn.prod.website-files.com/65c81e88c254bb0f97633a71/69cbae0ccbdf13f9a16534b4_Screenshot-2025-01-22-at-8.35.03-AM.png)

전체 예시는 Pytest how-to 가이드를 방문하세요.

**Vitest로 시작하기**

LangSmith에서 테스트를 추적하려면 테스트 케이스를 `ls.describe()` 블록으로 묶으세요.

`import * as ls from "langsmith/vitest";`

import OpenAI from "openai";

import { traceable } from "langsmith/traceable";

import { wrapOpenAI } from "langsmith/wrappers/openai";

// OPENAI_API_KEY를 환경 변수로 설정하세요

const tracedClient = wrapOpenAI(new OpenAI());

const myEvaluator = async (params: { 
outputs: { sql: string };
referenceOutputs: { sql: string };
}) => {

const { outputs, referenceOutputs } = params;
const instructions = [
"Return 1 if the ACTUAL and EXPECTED answers are semantically equivalent, ",
"otherwise return 0. Return only 0 or 1 and nothing else.",
].join("\n");
const grade = await tracedClient.chat.completions.create({
model: "gpt-4o-mini",
messages: [
{
role: "system",
content: instructions,
},
{
role: "user",
content: `ACTUAL: ${outputs.sql}\nEXPECTED: ${referenceOutputs.sql}`,
},
]);
const score = parseInt(grade.choices[0].message.content ?? "");
return { key: "correctness", score };
};
ls.describe("generate sql demo", () => {
ls.test(
"offtopic input",
{
inputs: { userQuery: "whats up" },
referenceOutputs: { sql: "sorry that is not a valid query" },
},
async ({ inputs, referenceOutputs }) => {

const sql = await generateSql(inputs.userQuery); //generateSql은 사용자 입력을 받아 SQL 쿼리를 생성하는 함수입니다.

ls.logOutputs({ sql });

const wrappedEvaluator = ls.wrapEvaluator(myEvaluator);

// "correctness"를 피드백으로 자동으로 기록합니다.

await wrappedEvaluator({

outputs: { sql },

referenceOutputs,

});

}

);

});

Vitest/Jest 사용법 가이드를 방문하여 전체 예제를 확인하세요.

## 테스트 프레임워크 vs. evaluate()

OpenAI Evals, Hugging Face의 Evaluate, LangSmith의 evaluate()와 같은 대부분의 인기 평가 라이브러리는 유사하게 작동합니다. 즉, 먼저 데이터셋을 준비하고, 그 다음 생성 함수와 데이터셋 전체에 실행할 평가자(evaluators) 세트를 정의하는 방식입니다. 이 접근 방식은 에이전트의 입력과 출력을 블랙박스 테스트해야 하는 경우처럼, 동일한 평가 세트를 데이터셋 전반에 걸쳐 실행해야 할 때 잘 작동하는 경향이 있습니다. 하지만 저희는 이것이 일부 경우에는 부족하다는 것을 발견했습니다.

저희가 구축한 여러 애플리케이션에서 새로운 Pytest 및 Vitest/Jest 통합 기능을 적용해 보았고(곧 비디오 공개 예정!), 세 가지 주요 이점을 발견했습니다:

**각 테스트 케이스별 특정 평가 로직.**

애플리케이션의 특정 부분을 평가하고 싶다면, evaluate()를 사용하는 것보다 예제와 평가자를 테스트 케이스로 정의하는 것이 더 유연하고 직관적입니다. 예를 들어, 여러 도구(tools)에 접근할 수 있는 에이전트를 테스트할 때 모델이 각 도구를 호출하는 능력을 테스트하고 싶을 것입니다. 하지만 두 가지 도구를 평가하는 방법은 완전히 다를 수 있어 전역 평가자 함수를 정의하기가 번거롭습니다. 새로운 테스트 통합 기능을 사용하면 각각의 경우에 맞춤형 평가 로직을 가진 별도의 테스트 케이스를 가질 수 있습니다. 실제 작동 방식을 보려면 튜토리얼을 확인해 보세요.

**실시간 로컬 피드백.**

테스팅 프레임워크는 테스트 상태에 대한 실시간 피드백을 제공하여, 문제를 발견하고 수정하는 과정을 훨씬 쉽게 만듭니다. 이러한 빠른 피드백 루프는 애플리케이션의 일부를 모킹(mocking)하면서 로컬에서 반복 작업을 하거나 평가(evals)를 빠르게 테스트해야 할 때 유용합니다.

**CI 파이프라인 통합.**

평가(evals)를 CI 파이프라인의 일부로 실행하면 회귀(regression)를 조기에 발견하는 데 도움이 됩니다. 테스팅 프레임워크는 자연스럽게 통과/실패 기준을 정의하고 CI 워크플로우에서 단언 오류(assertion errors)를 발생시키는 것을 지원합니다.

앞으로 몇 주 안에, 이를 특히 쉽게 구성할 수 있도록 Github Action을 출시할 예정입니다.

## 직접 사용해 보세요!

Pytest 및 Vitest/Jest 통합 기능을 사용하여 평가(evals)를 실행하는 새로운 접근 방식을 공유하게 되어 기쁩니다! 시작하려면 개발자 튜토리얼과 방법 가이드(Python, TypeScript)를 방문하고, 비디오 워크스루(Python, TypeScript)도 확인해 보세요.

피드백이나 기능 요청 사항이 있다면, LangChain Slack 커뮤니티를 통해 저희에게 의견을 주시거나 GitHub에 이슈를 열어 알려주세요. 아직 Slack 커뮤니티의 일원이 아니라면, 여기에서 가입하세요.