에이전틱 RAG 시스템 전 과정에 Decision Models (Jev)를 사용할 수 있는 9가지 방법

에이전틱 RAG 시스템의 전 과정에 Decision Models (Jev)를 사용할 수 있는 9가지 방법 👇

1. 모델 라우팅(Model routing). 프롬프트가 의사 결정 모델(decision model)로 전달되어 티어(tier)를 선택합니다. 조회용으로는 저렴한 모델을, 잘못될 경우 감당할 수 없는 작업에는 비싼 모델을 사용합니다.
2. 가드레일(Guardrails). 잠재적 위험 요소별로 별도의 예/아니오 검사를 수행합니다. LLM이 입력을 보기 전 또는 생성된 답변에 대해 적용할 수 있습니다.
3. 검색 충분성(Retrieval sufficiency). 반환된 정보가 답변하기에 충분한지, 아니면 다시 검색해야 하는지를 판단합니다.
4. 패시지 필터링 및 재순위 지정(Passage filtering and reranking). 이 패시지가 질문에 답하는 내용인지, 아니면 단지 키워드와 근접한 것인지를 판단합니다. 각 후보군에 적용하고 확률별로 정렬합니다.
5. 인용 출처 확인(Citation checking). 이 출처가 주장을 뒷받침하는지, 모순되는지, 아니면 다루지 못했는지를 판단합니다.
6. 도구 호출 게이팅(Tool-call gating). 코드 내의 경계(bands)를 사용하여 호출별로 허용(Allow), 요청(Ask), 또는 거부(Deny)합니다.
7. 루프 종료(Loop termination). 결과가 실제로 수락 기준(acceptance criteria)을 충족하는지 확인합니다.
8. 컨텍스트 압축(Context compaction). 각 컨텍스트 조각에 점수를 매기고, 요약하는 대신 오래된 것(stale ones)을 제거합니다.
9. 전체 범위에 대한 평가(Evals at full coverage). LLM 심판보다 판정당 비용이 훨씬 저렴합니다. 샘플링 대신 모든 트레이스(trace)를 채점할 수 있는 능력을 잠재적으로 열어줍니다.

에이전틱 RAG 루프 외부에도 매우 많은 다른 사용 사례가 있습니다:

➡️ 대량 레이블링(Bulk labeling).
➡️ 받은 편지함 분류(Inbox triage).
➡️ 차이점에서의 비밀 탐지(Secret detection in diffs).
➡️ …

주의할 점:

❌ 여전히 의사 결정 모델 사용에 대한 평가(eval)가 필요합니다.
❌ 임계값(thresholds)을 면밀히 모니터링하고 코드로 버전 관리해야 합니다.
❌ 의사 결정 모델은 설명(explanation)을 반환하지 않으며, 어떤 출력이 나쁜지만 알려줍니다. 설명을 요구하는 경우 LLM 심판으로 되돌아가야 합니다.

👉 대부분의 시스템에서 생성(Generation)은 하나의 호출입니다. 그 주변을 둘러싼 결정들이 나머지 스무 가지이며, 바로 이 지점에서 가치가 발생합니다.

목록에 무엇이 더 포함되어야 할까요? 👇