품질 저하 없이 LLM을 활용하여 AI 시스템 비용을 줄이는 방법

Article DOI: 10.5281/zenodo.23732760

기술 보고서 · 비판적 검토 및 확장

SGAEIA Research Series — Article 23

여섯 가지 레버리지(levers)에 대한 증거 기반 검토, 그 한계점, 그리고 통제된 참조 아키텍처

Aridio Silva

독립 연구원, 브라질

SGAEIA — Secure Governed Autonomous Edge Intelligence Architecture의 창시자

ORCID: 0009-0008-2411-6995

초록 (Abstract)

2026년 10월 26일, R. Bhardwaj는 잘 설계된 생성형 AI(GenAI) 및 에이전트 AI 스택을 사용하면 답변 품질은 동일하거나 더 좋게 유지하면서 월별 LLM 지출 비용을 US$10,000에서 US$2,926까지 70% 절감할 수 있다고 주장하는 인포그래픽을 발표했다 [9]. 본 보고서는 이 제안을 여러 부분으로 분석한다: 핵심 논지(central thesis), 여섯 가지 비용 레버리지(six cost levers), 참조 아키텍처(reference architecture), 비용 분해(cost decomposition), 그리고 전후 품질표(before-and-after quality table). 이후 각 부분을 동료 검토 논문, arXiv 프리프린트 및 세 개의 가장 큰 모델 제공업체의 현재 API 문서를 포함한 1차 출처와 비교한다. 문헌은 모든 레버리지를 뒷받침하며, 종종 게시물이 가정하는 것보다 더 큰 효과를 보인다. 캐스케이드(Cascades)와 라우터(routers)는 [10, 13, 39, 51]에서 비용의 일부만으로 가장 강력한 모델의 정확도를 달성했다. 제공업체들은 배치 작업(batch work)에 대해 50% 낮은 요금을 부과하며 [4, 18, 40], 캐시된 프롬프트 읽기(cached prompt reads)에는 입력 가격의 최대 0.1배만 청구한다 [5]. 세 가지 약점이 두드러진다. 70%라는 수치는 측정된 것이 아니라 예시적인 것이다. 이 수치에는 레버리지가 추가하는 오버헤드(임베딩, 라우터, 심사관, 평가)가 포함되어 있지 않다. 또한 품질표는 일반적인 평가 세트의 샘플링 오차보다 작은 차이를 보고한다 [35].

보고서는 공식 비용 모델, 캐스케이드(cascades) 및 캐시(caches)에 대한 손익분기점 조건, 명시된 가정 하에서 61–68%의 순절감 시나리오를 보여주는 민감도 분석(sensitivity analysis)(단, 이를 경험적 추정치로 제시하지는 않음), 성공적인 작업당 비용에 초점을 맞춘 KPI 트리[14], 단계별 구현 로드맵, 용어집, 그리고 2026년 10월 27일에 링크가 확인된 56개 출처의 감사된 참고문헌 목록을 추가합니다.

키워드: LLMOps; 추론 비용(inference cost); 모델 라우팅(model routing); LLM 캐스케이드(LLM cascades); 검색 증강 생성(retrieval-augmented generation, RAG); 프롬프트 캐싱(prompt caching); 시맨틱 캐싱(semantic caching); 품질 게이트(quality gates); 통과 비용(cost-of-pass); AI 거버넌스(AI governance).

서론 (Introduction)
방법론 (Method)
핵심 논지 (The central thesis)
LLM 시스템을 위한 비용 모델 (A cost model for LLM systems)
여섯 가지 레버리지(The six levers)
참조 아키텍처 (Reference architecture)
컨텍스트 최적화 엔진 (Context optimisation engine)
캐싱: 프롬프트, 시맨틱 및 KV
모델 라우팅과 캐스케이드
품질 게이트와 에스컬레이션
비용 분해 및 민감도(Cost decomposition and sensitivity)
평가 및 KPI
관측 가능성 및 거버넌스 (Observability and governance)
SGAEIA와의 관계
구현 로드맵 (Implementation roadmap)
논의 및 유효성에 대한 위협(Discussion and threats to validity)
결론 (Conclusion)
용어집 (Glossary)
참고문헌 (References) (감사 완료)

헤드라인 결과(월 US$10,000 ~ US$2,926);
6가지 "핵심 레버리지(key levers)";
6단계와 거버넌스 레이어(governance layer)를 갖춘 참조 아키텍처(reference architecture);
"예시 비용 분석(illustrative cost breakdown)" 폭포수 다이어그램(waterfall);
기준선(baseline)과 최적화된(optimised) 지표를 비교하는 품질 표(quality table);
핵심 시사점: 작업이 실제로 필요할 때만 더 많은 인텔리전스(intelligence)에 자원을 투입해야 한다.

1.3 기여 내용 (Contributions)

제안 내용을 구조화하여 재진술하고, 영어와 포르투갈어로 된 13개의 원본 그림으로 다시 그렸습니다.
각 구성 요소에 대해 이를 지지하거나, 자격 부여(qualifies)하거나, 모순되는 주요 문헌을 제시하고, 비전문가 기술 독자를 위해 개념을 설명했습니다.
각 레버리지(lever)를 지출 요인 하나에 매핑하는 공식 비용 모델(Eq. 1), 그리고 캐스케이드(cascades)에 대한 손익분기점 조건(break-even conditions, Eq. 4) 및 프롬프트 캐싱(prompt caching, Eq. 3)을 포함합니다.
게시물 내 산술 계산 검토와 레버리지가 추가하는 오버헤드(overhead)를 포함한 70% 주장에 대한 민감도 분석(sensitivity analysis).
핵심 성과 지표(KPI) 트리, 출구 게이트(exit gates)가 있는 단계별 로드맵, 용어집(glossary), 그리고 감사된 참고문헌 목록(audited bibliography).

2 방법론 (Method)

검토는 네 단계를 따랐습니다.

출처 분해(Source decomposition). 인포그래픽의 모든 주장은 논지(thesis), 레버리지(levers), 아키텍처(architecture), 분해(decomposition), 품질표(quality table), 핵심 시사점(takeaway)별로 전사되어 그룹화되었습니다. 게시물 텍스트와 발행 날짜는 공개된 LinkedIn 페이지에서 읽어왔습니다.
문헌 선정(Literature selection). 각 구성 요소에 대해 다음 세 가지를 검색했습니다: (a) 기술을 정의하거나 측정하는 동료 검토 논문(peer-reviewed papers) 또는 인용도가 높은 arXiv 프리프린트, (b) 가격 및 제한 사항에 대한 제공업체 자체 문서, 그리고 (c) 거버넌스(governance) 및 신뢰성(reliability)에 대한 인정된 표준. 블로그 요약보다는 1차 출처를 선호했습니다.
감사(Audit). 모든 참고 자료는 2026년 10월 27일에 확인되었습니다. arXiv 기록은 제목, 저자 및 제출 날짜를 위해 arXiv API를 통해 확인되었습니다. 다른 모든 URL은 가져와 HTTP 상태가 기록되었습니다. 본 보고서에 인용된 수치적 주장(예: FrugalGPT의 “최대 98%”, 또는 0.1× 캐시 읽기 승수)은 2차 요약본이 아닌 출처 초록 또는 문서 페이지에서 복사되었습니다.
종합 및 확장(Synthesis and extension). 이 주장들은 비용 모델로 재구축되었고 간단한 분석적 계산 및 민감도 계산을 통해 테스트되었습니다. 게시물에 데이터가 없는 경우, 해당 수치는 _예시적_으로 표시됩니다.

양자화(quantisation), 추측 디코딩(speculative decoding), 서빙 시스템 스케줄링(serving-system scheduling)과 같은 모델 측 효율성 기술은 다른 곳에서 조사되었으며[33, 54], 본 보고서는 모델을 가격이 책정된 API로 취급하므로 이 범위에 포함되지 않습니다.

방법론의 한계점. 본 것은 등록된 프로토콜을 가진 체계적 문헌고찰(systematic review)이 아닌 구조화된 검토입니다. 실험은 수행되지 않았습니다. 제공업체의 가격은 자주 변경되며 감사일에 읽은 대로 인용되었습니다.

3 핵심 논지(The central thesis)

3.1 진술(Statement)

이 논문(thesis)의 핵심 주장은 비용과 품질이 전반적으로 서로 상충 관계일 필요는 없다는 것입니다. 실제 워크로드에서 발생하는 대부분의 요청은 쉽습니다. 이러한 쉬운 작업에 대해 최첨단 모델 가격을 지불하는 것은 사용되지 않는 역량을 구매하는 것과 같습니다. 따라서, 난이도에 맞춰 역량을 조정하는 시스템은 항상 가장 큰 모델을 사용하는 시스템보다 비용-품질 곡선(cost–quality curve) 상에서 더 나은 지점에 위치할 수 있습니다.

Figure 1. The central thesis on the cost–quality plane. The two filled points are the baseline and optimised values reported in the post; the hollow points and the frontier are illustrative.

3.2 파레토 관점 (The Pareto view)

어떤 구성이든 다른 구성보다 더 저렴하면서도 성능이 떨어지지 않을 때, 그 구성은 _파레토 최적(Pareto-optimal)_이라고 합니다. Kapoor 등은 정확도만을 보고하는 에이전트 벤치마크가 이 분야를 '불필요하게 복잡하고 비용이 많이 드는' 에이전트로 몰아붙인다는 것을 보여주었으며, 비용과 정확도는 함께 최적화되어야 한다고 주장합니다 [25]. HELM은 이미 효율성을 포함하는 다중 지표 평가(multi-metric evaluation)를 주장한 바 있습니다 [28]. 이 관점에서 볼 때, 게시물에 언급된 '항상 프론티어' 기준선은 _지배된 점(dominated point)_입니다 (그림 1). 라우팅 혼합 방식(routed mix)은 성공적인 작업당 비용의 29%로 동일한 성공 대역(success band)에 도달합니다.

3.3 적절한 단위: 성공적인 작업당 비용 (cost per successful task)

인포그래픽에서 가장 중요한 선택은 품질 표의 마지막 행인 성공적인 작업당 비용(cost per successful task) (US$1.00 ~ US$0.29)입니다. Erol 등은 이와 동일한 아이디어를 _통과 비용(cost-of-pass)_으로 공식화했습니다. 이는 하나의 정확한 솔루션을 얻기 위해 예상되는 지출 금액을 의미합니다 [14]. 시도당 비용이 _c_이고 성공 확률이 _p_일 때:

CPST = c / p

이 지표는 저렴하지만 신뢰할 수 없는 모델이 좋은 것처럼 보이게 하는 것을 막아줍니다. 비용은 1/10에 불과하지만 성공률은 절반인 모델은 성공당 단지 5배만 더 저렴하며, 이는 실패를 처리하는 비용을 제외한 것입니다.

논문의 강점 (Strengths of the thesis)

라우터(routers)와 캐스케이드(cascades)가 비용의 일부 수준에서 품질을 유지한다는 경험적 발견과 일치합니다 [10, 13, 39].
단일하고 비즈니스적으로 이해하기 쉬운 목표 지표를 제공합니다.
에이전트(agents)뿐만 아니라 채팅에도 적용됩니다 [25].

한계점 (Limits)

워크로드에 따라 달라집니다. 대부분의 요청이 어려운 경우, 라우팅할 부분이 거의 없습니다.
"동일한 품질"은 주장하는 것이 아니라 통계적으로 보여야 합니다 (섹션 12).
희귀하고 중요도가 높은 쿼리의 긴 꼬리(long tail)에서의 품질은 평균이 괜찮아 보이는 동안 떨어질 수 있습니다.

4 LLM 시스템을 위한 비용 모델

게시물은 레버리지(levers, 조절 장치)들을 나열하지만, 각각의 요소가 청구서의 어느 부분에 작용하는지는 말해주지 않습니다. 우리는 월별 비용 모델을 통해 이를 명확히 합니다:

C = N · (1 − h) · k · [ _pin(m) · (_Tu + δ·Tc) + pout(m) · _T*out ] · (1 − β·b) + Covh(1)

여기서 _N_은 월별 요청 수, _h_는 시맨틱 캐시 히트율(semantic-cache hit rate), _k_는 요청당 평균 LLM 호출 횟수, _m_은 입력 및 출력 가격이 책정된 선택된 모델, p, _T*u와 Tc는 캐시되지 않은 입력 토큰과 캐시된 입력 토큰, δ는 캐시 읽기 가격 승수(cached-read price multiplier), Tout은 출력 토큰 수, β는 배치 할인율(batch discount), _b_는 배치를 통해 전송되는 트래픽 비율, 그리고 Covh는 최적화 자체에서 발생하는 오버헤드입니다.

Figure 2. Each lever attacks a different factor of Eq. 1. The red card is the overhead that the levers themselves introduce and that the post leaves out.

Eq. 1의 두 가지 속성은 본문의 폭포수(waterfall) 모양을 설명합니다. 첫째, 요인들은 곱해지므로(multiply), 절약액이 복합적으로 증가합니다. 즉, 15%, 40%, 25%, 15%, 10%의 다섯 가지 감소율은 단순 합계가 제안하는 105%가 아니라 1 − 0.85·0.60·0.75·0.85·0.90 = 70.7%를 제공합니다. 둘째, 동일한 요인에 대한 레버리지(levers)는 완전히 중첩되지 않습니다(do not stack fully). 라우팅이 트래픽을 더 저렴한 모델로 이동시킨 후에는 토큰을 줄이는 것이 그 저렴한 가격에서 돈을 절약하는 것입니다. 절약액을 계산하는 순서는 각 단계가 기여하는 정도를 다르게 보이게 할 뿐, 최종 결과물은 바꾸지 않습니다.

배치 처리(Batch processing)는 모델을 해석하는 방법을 보여줍니다. 세 주요 제공업체 모두 배치 작업에 대해 50% 할인을 제공하므로 [4, 18, 40], β = 0.5입니다. 따라서 본문의 10% 배치 단계는 b = 20%를 의미합니다: 다섯 건의 요청 중 한 건은 최대 24시간까지 기다릴 수 있습니다.

Figure 3. The six levers, the factor of Eq. 1 each one targets, the strongest effect reported in the literature, and the main trade-off.

품질 저하 없이 LLM을 활용하여 AI 시스템 비용을 줄이는 방법

요약

핵심 포인트

초록 (Abstract)