AI 코딩 에이전트에게는 인간의 검토뿐만 아니라 런타임 가드레일(Runtime Guardrails)이 필요하다

최근의 신호

Claude Code와 Cowork 팀을 이끄는 Anthropic의 엔지니어링 리더 Fiona Fung은 AI 코딩 에이전트가 그녀의 팀이 일하는 방식을 변화시켰다고 말했습니다.

이 도구들은 엔지니어들이 더 많은 코드를 배포(ship)할 수 있도록 돕지만, 동시에 업무를 더 외롭게 만들기도 합니다. 개발자들은 에이전트와 함께 일하는 데 더 많은 시간을 소비하고, 다른 엔지니어들과 직접 배우는 데 쓰는 시간은 줄어듭니다. Fung은 이에 대한 대응으로 프로그래밍 점심 식사, 해커톤(hackathons), 공유 메이커 타임(shared maker time)과 같이 더 의도적인 협업을 만들기 위해 노력했습니다.

이는 흥미로운 문화적 이야기입니다.

동시에 엔지니어링 이야기이기도 합니다.

왜냐하면 개발자들이 인간과 함께 일하는 방식에서 에이전트를 단독으로 운영하는 방식으로 전환될 때, 어떤 안전 장치들은 방 밖으로 밀려나기 때문입니다.

인간의 협업은 과거에 런타임(runtime) 오류를 잡아내곤 했습니다.

일반적인 엔지니어링 작업에서는 많은 실수가 비공식적으로 포착됩니다.

누군가 질문을 던집니다:

왜 이것을 다시 재시도(retrying)하고 있는 거지?

왜 이 스크립트에는 타임아웃(timeout)이 없지?

왜 이것이 운영 환경(production)을 건드리고 있지?

왜 의존성(dependency)이 변경되었지?

왜 작업이 진전되지 않고 있지?

왜 이 API를 다시 호출하고 있지?

이것들은 공식적인 검증 시스템(formal verification systems)이 아닙니다.

이것들은 인간의 런타임 체크(human runtime checks)입니다.

AI 코딩 에이전트는 워크플로(workflow)를 변화시킵니다.

개발자가 작업을 부여합니다.

에이전트가 계획을 세웁니다.

에이전트가 편집합니다.

에이전트가 도구(tools)를 실행합니다.

에이전트가 모델(models)을 호출합니다.

에이전트가 재시도(retries)합니다.

에이전트가 컨텍스트(context)를 추가합니다.

에이전트가 다시 시도합니다.

이 루프(loop)는 유용할 수 있습니다.

하지만 인간 팀원이 실행을 중단했을 시점 이후에도 오랫동안 계속될 수도 있습니다.

에이전트는 루프입니다

기본적인 모델 호출은 단순합니다.

입력을 보냅니다.

출력을 받습니다.

결과를 검사합니다.

에이전트는 다릅니다.

에이전트는 다음과 같이 많은 단계를 거칠 수 있습니다:

while (!taskDone) {
const plan = await model.call(context);
const toolResult = await runTool(plan.tool);
context = updateContext(context, toolResult);
}

이러한 형태는 강력하지만 불완전합니다.

예산(budget)이 없습니다.

최대 단계 제한(max-step limit)이 없습니다.

재시도 폭풍(retry-storm) 탐지가 없습니다.

프롬프트 루프(prompt-loop) 탐지가 없습니다.

알 수 없는 비용(unknown-pricing) 확인이 없습니다.

진전 없음(no-progress) 탐지가 없습니다.

더 안전한 버전이라면 다음 프로바이더(provider) 호출이 실제로 일어나야 하는지를 반드시 물어야 합니다.

const decision = guard.beforeCall({
runId,
model,
prompt,
stepCount,
budget,
previousPrompts,
retryState,
});

if (!decision.allowed) {
throw decision.error;
}

const result = await provider.call({
model,
prompt,
});

중요한 부분은 배치(placement)입니다.

가드(guard)는 프로바이더(provider) 호출 전에 실행됩니다.

그 이후가 아닙니다.

대시보드(dashboards)만으로는 충분하지 않은 이유

대시보드는 유용합니다.

사용량을 보여줍니다.

비용을 보여줍니다.

디버깅(debug)을 도와줍니다.

하지만 대시보드는 대개 실행 후(post-execution)의 결과입니다.

대시보드는 다음 질문에 답합니다:

무슨 일이 일어났는가?

에이전트 런타임(agent runtimes)은 다음 질문에 답해야 합니다:

다음 호출이 일어나야 하는가?

이 질문이 중요한 이유는 대부분의 AI 에이전트 비용 실패가 하나의 거대한 요청 때문이 아니기 때문입니다.

대개는 정상적으로 보이는 호출들의 연속입니다.

재시도(retry).

유사한 프롬프트(prompt).

도구 호출(tool call).

또 다른 재시도.

더 긴 컨텍스트(context).

또 다른 모델 호출.

각 단계는 합리적으로 보일 수 있습니다.

하지만 전체 실행 과정은 낭비일 수 있습니다.

유용한 호출 전 점검(pre-call checks)

실용적인 에이전트 런타임은 기본적인 안전 조건이 충족되지 않을 때 실행을 중단해야 합니다.

예산 가드(Budget guard)

실행에는 작업 수준의 예산(task-level budget)이 있어야 합니다.

다음 예상 호출이 해당 예산을 초과한다면, 프로바이더 호출 전에 중단하십시오.

최대 단계 보호(Max-step protection)

합리적인 단계 내에 작업을 완료하지 못하는 에이전트는 루프에 빠졌을 수 있습니다.

최대 단계 제한(Max-step limits)은 화려한 기능이 아닙니다.

그것은 프로덕션(production) 환경의 안전장치입니다.

재시도 폭풍 탐지(Retry-storm detection)

재시도는 정상입니다.

재시도 폭풍(Retry storms)은 정상이 아닙니다.

런타임은 에이전트가 실패하는 동작을 계속 반복할 때 이를 탐지해야 합니다.

유사 프롬프트 루프 탐지(Similar prompt-loop detection)

반복되는 시도에서 프롬프트가 거의 동일하다면, 에이전트가 새로운 정보를 탐색하지 못하고 있을 수 있습니다.

이는 중단 또는 구조화된 실패(structured failure)를 트리거해야 합니다.

알 수 없는 모델 가격(Unknown model pricing)

런타임이 모델의 가격을 알 수 없다면, 실패를 기본값으로 설정(fail closed)해야 합니다.

자율 루프(autonomous loop) 내부에서 추측하는 것은 위험합니다.

AI CostGuard의 역할

이것이 제가 AI CostGuard를 통해 구축하고 있는 계층(layer)입니다.

AI CostGuard는 AI 에이전트를 위한 로컬 우선(local-first) TypeScript 런타임 안전 계층입니다.

이는 프로바이더 호출이 실행되기 전에 비용이 많이 드는 에이전트 실패 모드(failure modes)를 방지하도록 설계되었습니다:

재시도 폭풍 (retry storms)
프롬프트 루프 (prompt loops)
최대 단계 폭발 (max-step explosions)
진전 없는 실행 (no-progress runs)
예산 초과 (budget overruns)
알 수 없는 모델 가격 책정 (unknown model pricing)
통제 불능 에이전트 동작 (runaway agent behavior)

이 도구는 개발자 중심입니다.

기본적으로 SaaS 형태가 아닙니다.

기본적으로 클라우드 대시보드가 없습니다.

로그인도 필요 없습니다.

추적(tracking)도 없습니다.

목표는 프로바이더(provider)의 대시보드를 대체하는 것이 아닙니다.

목표는 알려진 잘못된 런타임 패턴이 프로바이더 비용 지출로 이어지기 전에 차단하는 것입니다.

시사점 (The takeaway)

AI 에이전트는 개별 개발자의 역량을 더욱 강화합니다.

또한 의도와 실행 사이의 인간적 마찰(human friction)을 줄여줍니다.

이는 곧 일정 수준의 안전 장치가 런타임(runtime)에 더 가까이 이동해야 함을 의미합니다.

에이전트가 단독으로 실행될 수 있다면, 제한 사항이 필요합니다.

재시도(retry)할 수 있다면, 재시도 제어가 필요합니다.

루프(loop)를 돌 수 있다면, 루프 탐지가 필요합니다.

프로바이더를 호출할 수 있다면, 예산(budget)이 필요합니다.

관리자 없이 실행될 수 있다면, 킬 스위치(kill switch)가 필요합니다.

https://github.com/salimassili62-afk/ai-costguard