컨텍스트 윈도우(Context Windows) 채우기 중단하기: Spring AI 벡터 라우팅을 통한 동적 도구 가지치기 (Dynamic

컨텍스트 윈도우(Context Windows) 채우기 중단하기: Spring AI 벡터 라우팅을 통한 동적 도구 가지치기 (Dynamic Tool Pruning)

2026년에 엔터프라이즈급 Java 에이전트(Agent)를 구축한다는 것은 수천 개의 잠재적인 데이터베이스, API 및 레거시 시스템 도구들을 관리해야 함을 의미합니다. 만약 여러분이 매 턴(turn)마다 모든 @Tool 정의를 LLM 컨텍스트에 하드코딩하고 있다면, 비용을 낭비하고, 지연 시간(latency)을 급증시키며, 모델의 컨텍스트 제한(context limits)을 초과하고 있는 것입니다.

대부분의 개발자가 실수하는 이유

• 글로벌 레지스트리 안티 패턴 (The Global Registry Anti-Pattern): @Tool 어노테이션이 붙은 모든 Spring Bean을 ChatClient 설정에 맹목적으로 등록하여, Claude 3.5 Sonnet이나 GPT-4o가 환각(hallucination) 없이 500개 이상의 도구 정의를 마법처럼 분류해낼 것이라고 기대하는 것.
• 인지적 비용(Cognitive Tax) 무시: 도구의 수가 선형적으로 증가함에 따라, "중간에서 길을 잃는(lost in the middle)" 컨텍스트 윈도우 문제로 인해 LLM의 정확도는 기하급수적으로 떨어집니다.
• 정적 스키마 오버헤드 (Static Schema Overhead): 매 API 페이로드(payload)마다 LLM이 수천 줄의 JSON 스키마 메타데이터를 처리하도록 강제하여 시스템 처리량(throughput)을 파괴하는 것.

올바른 방법

도구 정의를 의미론적 문서(semantic documents)로 취급하십시오. 메타데이터를 벡터 데이터베이스(vector database)에 인덱싱하고, 사용자의 의도(intent)에 따라 런타임에 동적으로 쿼리하십시오.

• 애플리케이션 부트스트랩(bootstrap) 중에 Spring AI의 VectorStore를 사용하여 도구 스키마(이름, 설명 및 파라미터)를 고성능 벡터 스토어(PgVector 또는 Milvus와 같은)에 인덱싱합니다.
• 2단계 에이전트 파이프라인(agentic pipeline)을 구현합니다: 먼저, 사용자의 원문 프롬프트(raw prompt)에 대해 빠른 유사도 검색(similarity search)을 실행하여 가장 관련성이 높은 상위 3~5개의 도구만 검색합니다.
• 해당 특정 턴의 ChatClient 호출 시, 검색된 도구 정의_만_ ChatOptions에 동적으로 주입합니다.
• 사용자의 질의가 순수하게 대화적인 경우 무관한 도구가 주입되는 것을 방지하기 위해 엄격한 유사도 임계값(similarity threshold)을 적용합니다.

참고: 이러한 패턴이 실제 인터뷰 문제에 적용되는 것을 보고 싶다면, javalld.com에서 추적 과정이 포함된 전체 머신 코딩(machine coding) 솔루션을 확인할 수 있습니다.

코드를 보여주세요 (또는 예시)

// Spring AI를 이용한 동적 도구 라우팅 (Dynamic Tool Routing)
public ChatResponse executeWithDynamicTools(String userPrompt) {
    List<Document> relevantTools = vectorStore.similaritySearch(
...

핵심 요약 (Key Takeaways)

• 컨텍스트 최적화 (Context Optimization): 도구 정의 (Tool definitions)는 귀중한 토큰을 소비합니다. 동적 가지치기 (Dynamic pruning)를 통해 컨텍스트 윈도우 (Context windows)를 가볍게 유지하고 API 비용을 낮게 유지할 수 있습니다.
• 결합도가 낮은 아키텍처 (Decoupled Architecture): Spring AI의 VectorStore를 커스텀 FunctionCallback 레지스트리와 결합하여 사용하면, 팀은 핵심 에이전트 (Core agent)를 재배포하지 않고도 독립적으로 도구를 확장할 수 있습니다.
• 정확도 향상 (Improved Accuracy): LLM의 선택 범위를 매우 관련성이 높은 도구의 하위 집합으로 제한함으로써, 분포 외 (Out-of-distribution) 도구 호출 환각 (Hallucinations) 현상을 완전히 제거할 수 있습니다.