2025년 11월, 한 엔지니어링 팀이 4개의 LangChain 에이전트를 사용하여 시장 조사 파이프라인을 배포했습니다. 로직 오류로 인해 "Analyzer"와 "Verifier" 에이전트가 재귀적인 핑퐁 루프(ping-pong loop)에 빠졌습니다. 모든 개별 API 호출이 완벽하게 유효했기 때문에, 시스템은 대시보드상에서 정상적으로 보였습니다.

11일 후, 그들은 47,000달러의 API 청구서를 발견했습니다.

이것이 자율형 AI를 구축할 때 발생하는 숨겨진 비용인 무한 환각 루프 (infinite hallucination loops) 입니다. 에이전트가 오류를 만나거나 종료 조건에 도달하지 못하면, 무자비하게 재시도를 반복하며 밀리초 단위로 토큰을 태워버립니다.

내장 제어 장치가 실패하는 이유

LangChain 또는 LangGraph로 구축한다면, 비용 제어를 위해 아마 다음 두 가지에 의존하고 있을 것입니다:

1. max_iterations: 애플리케이션 계층의 제한 사항.
2. LangSmith: 관측성 (observability) 대시보드.

max_iterations의 문제는 모든 개발자가 모든 에이전트에 이를 완벽하게 하드코딩해야 한다는 점입니다. 게다가 반복 횟수가 곧 비용과 일치하지는 않습니다. 거대한 컨텍스트 팽창 (context bloat)이 동반된 단 한 번의 반복만으로도 엄청난 비용이 발생할 수 있습니다.

LangSmith (및 모든 관측성 도구)의 문제는 이들이 회로 차단기 (circuit breaker)가 아닌 목격자 역할을 한다는 점입니다. 대시보드가 급증을 알릴 때쯤이면 돈은 이미 사라진 상태입니다.

에이전트를 프로덕션에 안전하게 배포하려면, 예산이 0에 도달하는 정확한 밀리초에 HTTP 요청을 물리적으로 차단하는 네트워크 계층 방화벽인 에이전트 런타임 거버넌스 (Agent Runtime Governance) 가 필요합니다.

Loopers를 소개합니다.

Loopers란 무엇인가?

Loopers는 AI 에이전트를 위한 오픈 소스 베어메탈 리버스 프록시 (reverse proxy)입니다. 이는 LangChain과 LLM 제공업체 (OpenAI, Anthropic 등) 사이의 핵심 경로에 위치합니다.

Loopers는 원자적 Redis Lua 스크립트를 사용하여 요청이 제공업체로 전송되기 전에 예산을 예약합니다. 에이전트가 예산을 초과하면, Loopers는 페일 클로즈 (fails closed) 방식으로 즉시 연결을 끊어 예산 누출이 전혀 없음을 보장합니다.

다음은 5분 이내에 LangChain 워크플로에 Loopers를 구현하는 방법입니다.

Step 1: Loopers 방화벽 실행하기

Loopers는 매우 가볍고 (~40MB RAM) Docker를 통해 실행됩니다. 로컬 환경에서 직접 실행하여 테스트해 볼 수 있습니다.

# 리포지토리 클론 (Clone the repository)
git clone https://github.com/CURSED-ME/loopers-oss.git
cd loopers-oss
...

Step 2: 프록시 키(Proxy Key) 및 예산 생성하기

에이전트에게 실제 OpenAI 키를 직접 제공하는 대신, Loopers 프록시 키(lp-xxx)를 제공합니다. Loopers는 실제 API 키를 안전하게 보관하고 있다가 다운스트림(downstream)으로 주입합니다.

OpenAI용 API 프록시 키를 생성합니다:

docker-compose exec loopers /app/loopers keys create --name langchain-agent --provider openai

(생성된 lp-xxx 키와 해당 해시(hash)를 저장하세요).

이제 엄격한 예산을 설정합니다. 이 에이전트의 한도를 시간당 $2.00, 일일 $10.00로 제한해 보겠습니다:

docker-compose exec loopers /app/loopers budget set <KEY_HASH> \
  --hourly 2.00 \
  --daily 10.00
...

Step 3: LangChain 통합

LangChain 에이전트를 Loopers를 통해 라우팅하는 두 가지 방법이 있습니다.

옵션 A: Zero-SDK 통합 (범용 방식)

추가 패키지를 설치하고 싶지 않다면, 단순히 base_url을 재정의하고 default_headers를 사용하여 헤더를 전달함으로써 표준 LangChain ChatOpenAI 클라이언트를 사용할 수 있습니다.

from langchain_openai import ChatOpenAI
from langchain.agents import create_tool_calling_agent, AgentExecutor
import os
...

옵션 B: 네이티브 SDK 래퍼 (ChatLoopers)

더 깔끔한 코드를 위해, 즉시 교체 가능한 ChatLoopers 클래스를 제공하는 공식 loopers-client Python SDK를 사용할 수 있습니다. 이는 엔드포인트(endpoints)와 인증(auth)을 자동으로 처리하며, 세션 제약 사항(예산, 최대 단계 수 등)을 Python 인자로 래핑(wrap)합니다.

pip install loopers-client

from loopers_client.integrations.langchain import ChatLoopers
from langchain.agents import create_tool_calling_agent, AgentExecutor
import os
...

에이전트에 연결하기

초기화가 완료되면, llm(옵션 A 또는 B 중 하나)을 표준 LangChain 실행기(executor)에 전달합니다:

# 표준 에이전트 생성 및 실행
agent = create_tool_calling_agent(llm, tools, prompt)
agent_executor = AgentExecutor(agent=agent, tools=tools)
...

프로덕션 환경에서의 작동 방식

agent_executor.invoke()가 실행될 때, LangChain은 OpenAI와 통신을 시도합니다.

1. HTTP 요청이 :8080 포트의 Loopers 프록시(proxy)에 도달합니다.
2. Loopers는 Redis에서 원자적(atomic) Lua 스크립트를 실행하여, 세션(market-research-task-123) 또는 프록시 키가 시간당 $2.00의 예산을 초과했는지 확인합니다.
3. 예산 범위 내에 있다면, 요청은 약 1~2ms 내에 OpenAI로 전달됩니다.
4. 예산이 0이라면, Loopers는 즉시 강철 문을 내리듯 차단하며 HTTP 429 Too Many Requests를 반환합니다.

LangChain은 이 429 에러를 포착하여 에이전트 루프를 완전히 중단시키며, 추가적인 금전적 손실을 방지합니다.

결론

LangChain과 같은 에이전트 프레임워크(agent frameworks)는 믿을 수 없을 정도로 강력하지만, max_iterations와 같은 애플리케이션 계층(application-layer) 설정에 의존하는 것은 인프라를 인적 오류와 로직 버그에 취약하게 만듭니다.

Loopers와 같은 페일 클로즈(fail-closed) 방화벽을 통해 비용 제어 기능을 네트워크 계층(network layer)으로 내림으로써, FinOps 및 보안 팀을 공포에 떨게 하지 않으면서도 개발자들에게 자율 에이전트를 구축할 수 있는 자유를 줄 수 있습니다.

오픈 소스 프로젝트를 확인하고 GitHub에서 별(star)을 눌러주세요: github.com/CURSED-ME/loopers-oss