AI 워크플로우는 잘못된 실행 경로를 거치면서도 합리적인 답변을 생성할 수 있습니다.
명확화가 필요한 요청이 도구(tool)에 도달할 수도 있고, 지원되지 않는 의도(intent)가 기본 처리기(default handler)로 흘러갈 수도 있습니다. 그래프는 올바른 분기를 선택했지만 잘못된 엣지(edge) 때문에 추가 노드를 실행할 수도 있습니다.
Day 15에서 저는 결정론적 의도 라우팅(deterministic intent routing): **어떤 워크플로우가 요청을 받아야 하는가?**를 탐구했습니다.
Day 21의 에이전트 신뢰성(agent reliability) 논의 이후, 다음 질문은 다음과 같습니다:
요청이 워크플로우에 진입한 후, 무엇이 다음 단계를 결정하며—우리는 그 결정을 어떻게 검증할 수 있을까요?
1. 의도 라우팅에서 그래프 라우팅으로
의도 라우팅(Intent routing)은 일반적으로 사용자 요청으로부터 워크플로우를 선택합니다.
조건부 그래프 라우팅(Conditional graph routing)은 워크플로우의 현재 상태로부터 다음 노드를 선택합니다. 이 상태에는 다음과 같은 내용이 포함될 수 있습니다:
- 필요한 정보가 누락되었는지 여부.
- 도구가 사용 가능한 증거를 반환했는지 여부.
- 승인이 필요한 작업인지 여부.
- 실행 예산(execution budget)이 소진되었는지 여부.
Anthropic은 라우팅을 분류된 입력(classified inputs)을 전문화된 작업으로 안내하는 것으로 설명합니다. 또한, 자율 에이전트가 실행을 동적으로 제어하는 것과 구별되는 사전 정의된 워크플로우도 구분합니다. 조건부 그래프는 자율 에이전트를 요구하지 않고도 워크플로우를 구현할 수 있습니다.
이 예시에서는 세 가지 목적지를 사용하겠습니다:
| 조건 | 목적지 |
|---|
| 필요한 정보가 누락됨 | 명확화 요청 (Ask for clarification) |
| ... | |
순서가 중요합니다: 정보 누락이 의도가 지원되더라도 우선권을 갖습니다.
그러한 선행 조건(precedence)이야말로 우리가 테스트해야 할 동작의 일부입니다.
2. 라우팅 결정은 작게 유지하기
LangGraph는 add_conditional_edges()를 제공하여 라우팅 함수를 사용해 목적지를 선택할 수 있게 합니다. 명시적인 경로 맵(explicit path map)은 함수의 반환 값을 노드 이름에 연결합니다.
여기에 최소 예시가 있습니다.
from typing import Literal, TypedDict
...
노드는 경로를 검사할 수 있도록 실행 기록만 남깁니다. 실제 애플리케이션에서는 이를 명확화(clarification), 검색(retrieval) 또는 응답 로직으로 대체할 것입니다.
라우터 자체는 모델 호출이나 외부 부작용(side effects)이 없습니다. 따라서 라우터의 결정은 직접 확인할 수 있습니다.
3. 의사결정 테이블 테스트하기 (Test the decision table)
지원되는 요청만 테스트하는 것은 중요한 동작을 검증하지 못하게 합니다.
다음은 지원되는 모든 목적지, 즉 지원되는 인텐트(intents)와 명확화 우선순위(clarification precedence)를 포괄하는 매개변수화된 테스트입니다:
# test_routing_graph.py
import pytest
...
예제를 실행하려면:
python -m pip install langgraph pytest
python -m pytest -q
이 테스트들은 두 가지 다른 것을 확인합니다:
- 라우팅 로직(Routing logic): 함수가 예상된 목적지를 선택하는가?
- 그래프 배선(Graph wiring): 컴파일된 그래프가 정확히 그 목적지를 실행하는가?
두 번째 테스트는 중요합니다. 올바른 라우팅 함수가 주변의 그래프 전체가 올바르게 연결되어 있음을 증명하지 못하기 때문입니다.
4. 발생해서는 안 되는 것을 테스트하기 (Test what must not happen)
다음 단언문(assertion)에 주목하세요:
assert result["visited"] == [expected]
이것은 전체 실행 추적(complete execution trace)을 확인합니다.
다음과 같은 단언문:
assert expected in result["visited"]
도 의도하지 않은 노드가 실행되어도 통과할 수 있습니다.
프로덕션 워크플로우의 경우, 이와 동등한 검사는 명확화가 필요했을 때 도구(tool)가 절대 호출되지 않았는지, 또는 승인 없이 쓰기 작업(write operation)이 실행되지 않았는지를 확인하는 것일 수 있습니다.
정상적인 실행에는 금지된 동작의 부재가 포함됩니다.
5. 분기 커버리지의 한계 (Branch coverage has limits)
이러한 테스트들은 제공된 상태에 대한 라우팅 정책을 검증합니다.
하지만 이는 상위 분류기(upstream classifier)가 사용자를 올바르게 이해했는지, 누락된 정보가 정확하게 감지되었는지, 또는 핸들러가 유용한 답변을 생성했는지를 증명하지 못합니다.
이것들은 별도의 평가가 필요합니다:
- 인텐트 분류(intent classification)를 위한 레이블링된 요청.
- 명확화 감지(clarification detection)를 위한 불완전하고 모호한 요청.
- 하위 동작(downstream behavior)을 위한 현실적인 도구 응답.
- 경계 유효성 검사(boundary validation)를 위한 잘못된 입력.
특히, TypedDict는 타입 검사를 위한 예상 상태를 설명할 뿐이며, 런타임(runtime)에서 들어오는 데이터를 검증하지 않습니다.
그래프는 규칙을 완벽하게 따르면서도 여전히 잘못된 상태를 받을 수 있습니다.
제가 얻은 교훈 (My takeaway)
조건부 라우팅(Conditional routing)은 실행 규칙을 명시적으로 만듭니다. 테스트는 그 규칙들을 검토 가능하게 만듭니다.
각 라우팅 결정에 대해 다음 사항을 지정하고 싶습니다:
- 각 목적지를 선택하는 조건.
- 규칙이 겹칠 때 어떤 조건이 승리하는지.
- 실행되어야 하는 노드들(nodes).
- 실행되지 않은 상태로 남아 있어야 하는 액션들(actions).
유용한 다음 실험은 경로 맵(path map)에서 두 목적지를 의도적으로 교체해보고, 그래프 테스트가 그 실수를 잡아내는지 확인하는 것입니다.
AI 워크플로우를 테스트할 때, 답변만 검증하나요—아니면 그 과정(path)도 함께 검증하나요?
참고 자료 (References)