글로벌 물류 기업의 데이터 엔지니어링 팀이 다음과 같은 쿼리를 제출합니다: "지난 분기 동안 48시간 이상 지연된 모든 배송 건을 식별하고, 이를 기상 이벤트 및 운송업체 성능 데이터와 교차 참조하며, 고객 등급별 재무 노출액을 계산하고, 특정 항구 혼잡 이벤트와 상관관계가 있는 패턴을 플래그로 표시하십시오."

모놀리식 (Monolithic) 시스템에서는 이 쿼리가 40분 동안 실행되어 엄청난 컴퓨팅 자원을 소모하고 타임아웃(Time out)이 발생할 가능성이 높습니다. 단순한 LLM 기반 어시스턴트의 경우, 부분적인 데이터로 답변을 환각 (Hallucinate)하거나 컨텍스트 제한 (Context limits)으로 인해 요청을 거부할 것입니다.

잘 설계된 에이전트 기반 분산 쿼리 시스템 (Agentic distributed query system)에서는 이 작업이 90초 이내에 완료됩니다. 즉, 전문화된 에이전트들로 분해되고, 분산된 데이터 소스 전반에서 병렬로 실행되며, 전체 출처 (Provenance)와 함께 일관된 결과로 합성됩니다.

이것이 바로 2026년 가장 유능한 AI 시스템들이 해결하고 있는 엔지니어링 문제입니다. 단일 모델을 더 똑똑하게 만드는 것이 아니라, 단일 모델이나 단일 데이터베이스가 단독으로는 결코 처리할 수 없는 쿼리를 처리할 수 있을 만큼 모델 주변의 아키텍처를 지능적으로 만드는 것입니다.

이것이 완전한 엔지니어링 가이드입니다.

목차

1. 대규모 쿼리가 전통적인 시스템을 망가뜨리는 이유
2. 에이전트 기반 쿼리 아키텍처 (Agentic Query Architecture)
3. 쿼리 분해 (Query Decomposition): 결정적인 첫 번째 단계
4. 분산 실행 (Distributed Execution): 병렬 에이전트 조정
5. 연합 데이터 액세스 패턴 (Federated Data Access Patterns)
6. 쿼리 경계 간의 상태 관리 (State Management)
7. 결과 합성 및 일관성 (Result Synthesis and Consistency)
8. 장애 처리 및 부분 결과 (Failure Handling and Partial Results)
9. 실제 구현 패턴
10. 비용, 지연 시간 및 최적화
11. 프로덕션 아키텍처 참조
12. 의사결정 프레임워크

1. 대규모 쿼리가 전통적인 시스템을 망가뜨리는 이유

엔터프라이즈 환경에서 가장 중요한 쿼리는 거의 결코 단순하지 않습니다. 이들은 여러 데이터 소스에 걸쳐 있습니다. 구조화된 데이터 (Structured data)와 비구조화된 데이터 (Unstructured data)를 조인 (Join)해야 합니다. 또한 메인 질문에 답하기 전에 하위 질문들에 먼저 답해야 하는 멀티 홉 추론 (Multi-hop reasoning)이 필요합니다. 수십억 개의 레코드에 걸친 집계 (Aggregation)를 포함하기도 합니다. 그리고 종종 몇 시간이 아닌 몇 초 내에 답변을 요구합니다.

Apache Spark, Presto, BigQuery와 같은 전통적인 분산 쿼리 시스템 (Distributed query systems)은 계산 규모 (Computational scale) 문제를 잘 처리합니다. 이들은 분산 실행 (Distributed execution)을 통해 페타바이트 규모의 구조화된 데이터를 효율적으로 처리할 수 있습니다. 하지만 이들이 할 수 없는 것은 쿼리 자체에 대해 추론하는 것입니다. 즉, 모호하거나 복잡한 자연어 질문을 어떻게 분해할지 결정하거나, 중간 결과에 따라 실행 전략을 조정하거나, 구조화된 데이터와 함께 비구조화된 소스로부터 얻은 통찰을 통합하는 일은 할 수 없습니다.

전통적인 LLM 어시스턴트 (LLM assistants)는 추론 문제를 잘 처리합니다. 이들은 미묘한 차이가 있는 질문을 이해하고, 이를 하위 질문으로 분해하며, 일관된 답변을 합성할 수 있습니다. 하지만 이들이 할 수 없는 것은 페타바이트 규모의 데이터셋으로 확장하거나, 수십 개의 분산 데이터 시스템에 걸쳐 동시에 쿼리를 실행하거나, 수 시간에 걸친 실행 파이프라인 (Execution pipelines) 전반에 걸쳐 일관된 상태 (State)를 유지하는 일입니다.

에이전트 기반 분산 쿼리 시스템 (Agentic distributed query systems)은 이 두 가지 역량을 결합한 아키텍처입니다. 즉, 분산 컴퓨팅 인프라 상단에서 추론 및 오케스트레이션 (Orchestration) 레이어로 에이전트를 사용하며, 각 에이전트는 전체 쿼리의 제한된 하위 집합을 담당하고, MCP (Model Context Protocol)가 각 에이전트를 필요한 특정 데이터 시스템에 연결합니다.

규모의 맥락은 중요합니다. 에이전트 AI (Agentic AI) 시장은 2025년 76억 달러에서 2026년에는 108억 달러로 성장할 것으로 예상됩니다. Gartner는 2026년 말까지 엔터프라이즈 애플리케이션의 40%가 작업 특화형 AI 에이전트 (Task-specific AI agents)를 포함할 것으로 추정합니다. 이러한 성장을 견인하는 주요 유스케이스 (Use cases) 중 하나는 전통적인 아키텍처가 해결할 수 없는 복잡한 교차 시스템 쿼리 (Cross-system queries)를 처리하는 능력이며, 이것이 바로 이 블로그가 다루고자 하는 정확한 문제입니다.

2. 에이전트 기반 쿼리 아키텍처 (The Agentic Query Architecture)

에이전트 기반 쿼리 처리의 근본적인 변화는 요청-응답 (request-response) 모델에서 계획-실행-합성 (plan-execute-synthesize) 모델로의 전환입니다. 시스템에 쿼리를 보내고 결과를 기다리는 대신, 오케스트레이터 에이전트 (orchestrator agent)가 쿼리를 분석하고, 구조화된 실행 계획을 생성하며, 각 구성 요소를 실행할 전문 에이전트 (specialist agents)를 파견하고, 결과를 일관된 응답으로 합성합니다.

이 아키텍처는 네 가지 계층으로 구성됩니다:

**쿼리 이해 계층 (The Query Understanding Layer)**은 자연어, SQL 또는 하이브리드 형태의 원시 쿼리 (raw query)를 수신하여 구조화된 실행 계획을 생성합니다. 이 계층은 의도 분류 (intent classification), 하위 쿼리 추출 (sub-query extraction), 하위 쿼리 간의 의존성 매핑 (dependency mapping), 그리고 데이터 소스 라우팅 (data source routing)을 담당합니다. 출력물은 SQL 문이 아닙니다. 이는 정의된 입력, 출력, 의존성, 그리고 실행을 담당하는 데이터 소스 또는 에이전트를 포함하는 하위 작업들의 유향 비순환 그래프 (directed acyclic graph, DAG)입니다.

**오케스트레이션 계층 (The Orchestration Layer)**은 계획의 실행을 관리합니다. 어떤 하위 작업이 완료되었는지, 어떤 작업이 진행 중인지, 의존성 대기로 인해 차단되었는지, 그리고 어떤 작업이 실패했는지를 추적합니다. 이 계층은 병렬성 (concurrency) — 독립적인 하위 작업을 병렬로 실행하는 것 — 과 순차 실행 (sequencing) — 의존적인 하위 작업이 선행 조건이 충족될 때까지 기다리도록 보장하는 것 — 을 강제합니다. 이 계층은 에이전트 간 협업을 위해 A2A 프로토콜을 사용하며 전역 쿼리 상태 객체 (global query state object)를 유지합니다.

**실행 계층 (The Execution Layer)**은 특정 유형의 쿼리 실행에 최적화된 전문 에이전트 (specialist agents)들로 구성됩니다. 여기에는 관계형 데이터베이스에 대한 구조화된 SQL, 지식 그래프 (knowledge graphs)에 대한 그래프 탐색 (graph traversal), 임베딩 저장소 (embedding stores)에 대한 벡터 검색 (vector search), 외부 데이터 서비스에 대한 API 호출, 또는 비정형 저장소 (unstructured repositories)에 대한 문서 분석이 포함됩니다. 각 에이전트는 특정 데이터 소스 및 컴퓨팅 인프라에 연결하기 위해 MCP를 사용합니다.

**합성 계층 (The Synthesis Layer)**은 완료된 모든 하위 작업 (sub-tasks)의 결과를 수신하여 최종 답변을 생성합니다. 이는 단순한 결합이 아닙니다. 서로 다른 소스에서 온 결과들 사이의 충돌을 해결하고, 일부 하위 작업이 실패했을 때 부분적인 결과를 처리하며, 합성된 출력물 전반에 걸쳐 사실적 일관성 (factual consistency)을 유지하고, 답변 내의 각 주장을 해당 소스 하위 작업 및 데이터 시스템과 연결하는 출처 정보 (provenance information)를 생성하는 과정이 필요합니다.

이 4계층 아키텍처는 에이전트 기반 쿼리 시스템 (agentic query systems)에 관한 가장 엄격한 2026년 연구를 통해 확인된 패턴입니다. 2026년 1월에 업데이트된 arXiv:2505.05428에 기술된 Academy 프레임워크는 과학적 컴퓨팅 환경을 위해 정확히 이 구조를 구현하며, 다양한 액세스 프로토콜과 비동기 실행 패턴 (asynchronous execution patterns)을 가진 분산 리소스 전반의 HPC 환경에서 높은 성능과 확장성 (scalability)을 입증했습니다.

3. 쿼리 분해 (Query Decomposition): 결정적인 첫 단계

쿼리 분해는 대부분의 에이전트 기반 쿼리 시스템이 실패하는 지점입니다. 분해를 올바르게 수행하는 것은 전체 스택에서 가장 레버리지가 높은 엔지니어링 투자입니다.

단순한 접근 방식은 분해를 키워드 추출 (keyword extraction)로 취급합니다. 즉, 쿼리에 언급된 데이터 소스를 식별하고 각 소스로 하위 쿼리 (sub-queries)를 라우팅하는 방식입니다. 이 방식은 쿼리 언어에 하위 작업 구조가 명시적이지 않거나, 최적의 분해가 데이터 가용성 및 스키마 (schema)에 따라 달라지거나, 한 하위 작업의 중간 결과가 다음 하위 작업이 무엇을 물어야 할지를 결정하는 쿼리에서는 실패합니다.

연구로 검증된 접근 방식은 분해를 쿼리 재작성 (query rewriting) 및 계획 생성 (plan generation)으로 취급합니다. VLDB 2025에 발표된 DocETL에 따르면, 이 프로세스는 복잡한 문서 처리 작업에서 수동으로 설계된 (hand-engineered) 방식보다 25~80% 더 정확한 결과를 생성합니다.

분해 프로세스 (The Decomposition Process)

1단계 — 의도 분류 (Intent classification). 이 쿼리가 어떤 클래스에 속하는지 결정합니다: 집계 (aggregation), 비교 (comparison), 인과 (causal), 탐색 (exploratory), 또는 멀티홉 (multi-hop). 클래스에 따라 분해 전략이 결정됩니다. 집계 쿼리는 단일 집계 단계로 전달되는 병렬 데이터 수집 작업들로 분해됩니다. 멀티홉 쿼리는 각 단계의 출력이 다음 단계의 입력으로 전달되는 체인 형태로 분해됩니다.

2단계 — 하위 쿼리 추출 (Sub-query extraction). 전체 쿼리 내의 원자적 질문 (atomic questions)들을 식별합니다. "지연된 배송 건을 식별하고, 날씨 데이터와 교차 참조하며, 재무적 노출액을 계산하고, 패턴을 표시하라"는 질문은 서로 의존성을 가진 네 개의 원자적 질문입니다. 즉, 지연된 배송 건을 식별하기 전에는 재무적 노출액을 계산할 수 없습니다.

3단계 — 의존성 매핑 (Dependency mapping). 하위 쿼리들의 유향 비순환 그래프 (Directed Acyclic Graph, DAG)를 구축합니다. 어떤 하위 쿼리들이 병렬로 실행될 수 있는가? 어떤 쿼리들이 다른 쿼리를 기다려야 하는가? 병렬로 실행될 수 있는 쿼리들을 직렬화(serialize)해버리는 잘못 매핑된 의존성 그래프는 에이전트 기반 쿼리 시스템 (agentic query systems)에서 가장 흔히 발생하는 성능 병목 현상입니다.

4단계 — 데이터 소스 라우팅 (Data source routing). 각 하위 쿼리에 대해 최적의 데이터 소스와 실행 전략을 식별합니다. 구조화된 데이터 (Structured data)는 SQL 엔진으로 전달됩니다. 비구조화된 데이터 (Unstructured data)는 벡터 검색 (vector search) 또는 문서 분석 에이전트로 전달됩니다. 그래프 관계 (Graph relationships)는 그래프 순회 (graph traversal) 에이전트로 전달됩니다. 외부 데이터는 API 에이전트로 전달됩니다. 라우팅 결정은 지연 시간 (latency)과 비용 모두에 영향을 미칩니다. 쿼리를 잘못된 데이터 소스 유형으로 라우팅하는 것은 실행 시점에 수정하기에 비용이 많이 듭니다.

5단계 — 비용 추정 (Cost estimation). 실행이 시작되기 전에 각 하위 작업의 계산 비용을 추정합니다. FrugalGPT의 접근 방식 — 각 쿼리를 정확하게 답변할 수 있는 가장 저렴한 모델이나 시스템으로 라우팅하는 방식 — 은 정의된 벤치마크에서 정확도 손실 없이, 항상 가장 유능한 모델을 사용하는 것보다 최대 98%의 비용 절감을 달성합니다. 이를 분산 쿼리 시스템에 적용하면, 단순한 하위 작업은 저렴하고 빠른 경로의 실행기 (fast-path executors)로 라우팅하고, 복잡한 하위 작업만 비용이 많이 드는 컴퓨팅 자원으로 격상(escalating)시킨다는 것을 의미합니다.

Task Cascade 패턴

ACM Management of Data 2026에 발표된 Task Cascades는 에이전트 기반 쿼리 분해(agentic query decomposition)를 위한 가장 실용적인 프로덕션 패턴을 제공합니다. 이 접근 방식은 작업을 더 저렴한 하위 작업(sub-operations)의 폭포(cascade)로 분해하며, 불확실한 레코드만을 비용이 많이 드는 오라클(oracle)로 격상(escalating)시킵니다. 90%의 목표 정확도를 기준으로 8가지 문서 처리 작업을 수행한 결과, 표준 방식 대비 엔드 투 엔드(end-to-end) 비용을 평균 36% 절감했습니다.

분산 쿼리 처리(distributed query handling)에 적용하면 다음과 같습니다:

INCOMING QUERY (유입 쿼리)
|
v
FAST-PATH CLASSIFIER (패스트 패스 분류기)
(단순 조회로 답변 가능한가?)
|
Yes | | No
v v
DIRECT LOOKUP (직접 조회)
DECOMPOSITION AGENT (분해 에이전트 - 전체 계획 생성)
|
v v
RESULT EXECUTION GRAPH (결과 실행 그래프)
(멀티 에이전트 병렬 처리)

단일 인덱싱된 데이터 소스에서 답변 가능한 단순 쿼리는 비용이 많이 드는 분해 및 병렬 실행 파이프라인에 진입하지 않습니다. 이러한 패스트 패스 라우팅(fast-path routing)은 혼합된 쿼리 복잡도 분포를 처리하는 시스템에서 사용할 수 있는 가장 영향력 있는 최적화 방법입니다.

4. 분산 실행: 병렬 에이전트 조정 (Parallel Agent Coordination)

쿼리 실행 계획(execution plan)이 생성되면, 오케스트레이터(orchestrator)는 전문 실행 에이전트(specialist execution agents)에게 하위 작업(sub-tasks)을 전달합니다. 실행 생명주기(execution lifecycle) 동안 이러한 에이전트 간의 조정(coordination)이 이루어지는 지점이 바로 분산 시스템 엔지니어링의 핵심 과제가 존재하는 곳입니다.

실행 상태 머신 (The Execution State Machine)

실행 계획 내의 각 하위 작업은 정의된 상태를 거치며 진행됩니다. A2A 프로토콜 작업 생명주기 관리(task lifecycle management)를 사용하면 다음과 같습니다:

submitted (제출됨) — 오케스트레이터가 적절한 실행 에이전트에게 하위 작업을 전달했습니다.

working (작업 중) — 실행 에이전트가 처리를 시작했습니다. 대규모 데이터셋을 대상으로 하는 장시간 실행 하위 작업의 경우, 에이전트는 중간 진행 상황 업데이트를 오케스트레이터로 스트리밍(stream)해야 합니다. 이를 통해 하위 종속성(downstream dependencies)이 이전 결과에 의해 이미 충족된 경우 조기 종료(early termination)를 가능하게 합니다.

input-required — 하위 작업(sub-task)을 진행하기 전에 명확한 설명(clarification)이 필요한 상태입니다. 이는 하위 작업의 파라미터가 모호한 다른 하위 작업의 결과에 의존하거나, 데이터 소스에서 오케스트레이터(orchestrator)가 폴백 전략(fallback strategy)을 결정해야 하는 오류를 반환할 때 발생합니다.

completed — 하위 작업이 결과를 반환하고 전역 쿼리 상태(global query state)를 업데이트했습니다.

failed — 하위 작업이 스스로 복구할 수 없는 오류에 직면했습니다. 오케스트레이터는 재시도할지, 폴백 데이터 소스(fallback data source)로 라우팅할지, 아니면 전체 쿼리를 부분적으로 답변 가능(partially answerable)한 것으로 표시할지 결정해야 합니다.

결과 의존성을 가진 병렬 실행 (Parallel Execution with Result Dependencies)

가장 까다로운 조정 패턴은 팬아웃-앤-조인(fan-out-and-join)입니다. 이는 여러 개의 독립적인 하위 작업들이 병렬로 실행되며, 이후의 합성 작업(synthesis task)이 실행되기 전에 모든 하위 작업이 완료될 때까지 기다려야 하는 구조를 말합니다.

A2A의 작업 의존성 관리(task dependency management)는 이를 실행 가능하게 만듭니다. 오케스트레이터는 합성 작업을 대기(pending) 상태로 생성하고, 이를 모든 상위 병렬 작업(upstream parallel tasks)의 완료 이벤트(completion events)를 기다리는 상태로 등록합니다. 마지막 병렬 작업이 완료되어 공유 상태(shared state)에 결과를 기록하면, 합성 작업은 자동으로 제출(submitted) 상태로 전환되며 오케스트레이터가 이를 배정(dispatch)합니다.