AI 에이전트를 평가할 때, 우리는 종종 최종 답변에 집중합니다.

정답이었는가?
유용했는가?
근거가 확실했는가?

그것은 중요합니다.

하지만 에이전트에게는 또 다른 중요한 질문이 있습니다:
에이전트가 어떻게 그곳에 도달했는가?

이 지점에서 에이전트 궤적(Agent Trajectory)이 등장합니다.

에이전트 궤적(Agent Trajectory)이란 무엇인가?

에이전트 궤적(Agent Trajectory)이란 에이전트가 최종 답변을 생성하기 전에 거치는 경로를 의미합니다.

여기에는 에이전트가 거친 다음과 같은 단계들이 포함됩니다:

라우터(Router) 결정
도구 호출 (Tool calls)
데이터베이스 조회 (Database lookups)
검색 단계 (Retrieval steps)
LLM 호출 (LLM calls)
반복된 행동 (Repeated actions)
최종 응답 (Final response)

단순한 에이전트 경로는 다음과 같을 수 있습니다:

사용자 입력 (User input)
→ 라우터 (Router)
→ 데이터베이스 조회 (Database lookup)
→ 데이터 분석가 (Data analyzer)
→ 출력 (Output)

복잡한 에이전트 경로는 다음과 같을 수 있습니다:
사용자 입력 (User input)
→ 라우터 (Router)
→ 데이터베이스 조회 (Database lookup)
→ 라우터 (Router)
→ 데이터 분석가 (Data analyzer)
→ 라우터 (Router)
→ 데이터베이스 조회 (Database lookup)
→ 라우터 (Router)
→ 데이터 분석가 (Data analyzer)
→ 출력 (Output)

두 경로 모두 결국 정답을 생성할 수 있습니다.

하지만 두 경로가 똑같이 좋은 것은 아닙니다.

두 번째 경로는 더 많은 단계를 거치고, 더 많은 비용이 들며, 더 오래 걸리고, 무언가 실패할 가능성을 더 많이 만듭니다.

궤적(Trajectory)이 중요한 이유

사용자가 다음과 같이 질문한다고 가정해 봅시다:
“지난달 매출 트렌드를 보여줘.”

에이전트는 다음과 같은 작업이 필요할 수 있습니다:

• 질문 이해
• 적절한 데이터베이스 도구 선택
• 데이터 가져오기
• 결과 분석
• 최종 답변 생성

이것은 합리적인 경로입니다.

하지만 비효율적인 에이전트는 다음과 같이 행동할 수 있습니다:

• 동일한 도구를 여러 번 호출
• 계속해서 라우터(Router)로 되돌아감
• 동일한 분석을 반복
• 처음에 잘못된 도구를 사용
• 필요 없이 데이터베이스를 다시 쿼리
• 답변을 내놓기 전까지 너무 많은 단계를 거침

최종 답변은 괜찮아 보일 수 있습니다.
하지만 시스템의 동작은 괜찮지 않습니다.

실제 운영 환경(Production)에서 비효율적인 경로는 다음과 같은 요소를 증가시키기 때문에 중요합니다:

• 지연 시간 (latency)
• 비용 (cost)
• API 사용량 (API usage)
• 도구 호출 (tool calls)
• 실패 위험 (failure risk)
• 디버깅 복잡성 (debugging complexity)
• 사용자 대기 시간 (user wait time)

이것이 바로 에이전트 평가(agent evals)가 다음 두 가지를 모두 평가해야 하는 이유입니다:

출력 품질 (Output quality)
+
경로 품질 (Path quality)

수렴(Convergence)이란 무엇인가?

수렴(Convergence)은 에이전트가 주어진 쿼리에 대해 최적의 경로(optimal path)를 얼마나 밀접하게 따르는지를 측정합니다.

쉬운 의미로는:
에이전트가 정답에 깔끔하게 도달하고 있는가, 아니면 주변을 방황하고 있는가?
에이전트가 대부분의 경우 가장 짧고 유용한 경로를 취한다면, 수렴도(convergence)가 높습니다.

불필요한 단계를 계속해서 밟는다면, 수렴도는 낮아집니다.

간단한 수렴도 계산법

수렴도를 계산하는 한 가지 방법은 유사한 쿼리에 대해 에이전트를 실행하고, 몇 단계(steps)가 소요되는지 기록하는 것입니다.

다음과 같이 정의합니다:
N = 총 실행 횟수
S_agent,i = i번째 실행에서 에이전트가 수행한 단계 수
S_optimal = 실행 전체를 통틀어 가장 짧은 성공 경로의 길이

그렇다면:
수렴도 점수 (Convergence score) =
min(1, S_optimal / S_agent,i)의 평균

또는 더 공식적으로 표현하면:

전체 수렴도 점수 (Overall Convergence Score) = (Σᵢ₌₁ᴺ min(1, S_optimal / S_agent,i)) / N

간단한 예시:

가장 짧은 성공 경로가 5단계라고 가정해 봅시다.
한 에이전트 실행이 5단계를 소요한다면:
score = min(1, 5 / 5) = 1

이것이 이상적인 상태입니다.

다른 실행이 10단계를 소요한다면:
score = min(1, 5 / 10) = 0.5

또 다른 실행이 20단계를 소요한다면:
score = min(1, 5 / 20) = 0.25

점수가 낮을수록 에이전트가 필요한 것보다 더 많은 단계를 밟고 있음을 의미합니다.

수렴도 점수가 알려주는 것

수렴도 점수는 다음 질문에 답하는 데 도움이 됩니다:

• 에이전트가 가장 짧고 유용한 경로를 취하고 있는가?
• 불필요한 단계를 반복하고 있는가?
• 도구(tools)를 효율적으로 사용하고 있는가?
• 답변하기 전에 막히는 부분이 있는가?
• 유사한 입력에 대해 일관성을 유지하는가?

두 에이전트 모두 정답을 맞힐 수는 있지만, 한 에이전트가 훨씬 더 깔끔한 방식으로 수행할 수 있기 때문에 이 지표는 유용합니다.

하지만 수렴(Convergence)만으로는 충분하지 않습니다.
수렴은 단독으로 측정되어서는 안 됩니다.

짧은 오답 경로가 긴 정답 경로보다 더 나은 것은 아닙니다.

예를 들어, 에이전트가 3단계 만에 틀린 답을 내놓았다면, 단지 속도가 빨랐다는 이유만으로 그것이 좋은 것이라고 할 수는 없습니다.

따라서 수렴은 다음 항목들과 함께 평가되어야 합니다:

• 최종 답변의 정확성 (final answer correctness)
• 작업 성공 여부 (task success)
• 도구 선택 정확도 (tool choice accuracy)
• 그라운딩 (grounding)
• 안전성 (safety)
• 출력 품질 (output quality)

효율성(Efficiency)은 에이전트가 올바른 일을 수행한 이후에야 의미가 있습니다.

이것이 트레이스(Traces)와 연결되는 방식

궤적(Trajectory)과 수렴(Convergence)을 측정하기 위해서는 트레이스(Traces)가 필요합니다.
트레이스는 에이전트 실행 중에 어떤 일이 일어났는지를 보여줍니다.

트레이스는 다음과 같은 것들을 보여줄 수 있습니다:

• 어떤 단계들이 일어났는지
• 몇 단계가 수행되었는지
• 어떤 도구들이 호출되었는지
• 단계가 반복되었는지
• 에이전트가 진전을 보였는지
• 시간이 어디에 소비되었는지

트레이스가 없다면 우리는 최종 답변만을 볼 수 있습니다.
트레이스가 있다면 우리는 그 경로를 검사할 수 있습니다.

이것이 바로 관찰 가능성(Observability)과 평가(Evals)가 함께 작동할 때 효과적인 이유입니다.

관찰 가능성은 무엇이 일어났는지를 보여줍니다.
평가는 그것이 좋았는지 나빴는지를 결정하는 데 도움을 줍니다.

마지막 생각

에이전트 평가(Agent evals)는 단순히 최종 답변에 관한 것만이 아닙니다.
그것은 행동(Behavior)에 관한 것이기도 합니다.

좋은 에이전트는 정답을 맞춰야 합니다.

하지만 또한 깔끔하고, 효율적이며, 이해 가능한 경로를 따라가야 합니다.

이것이 바로 궤적(Trajectory)이 중요한 이유입니다.
그리고 이것이 AI 에이전트를 평가할 때 수렴(Convergence)이 유용한 신호가 될 수 있는 이유입니다.