에이전트 공학의 체육관 배지 (Part 1): 에이전트 성공 측정하기

비디오 게임을 플레이해 본 적이 있다면, 기술을 마스터했을 때 배지를 얻는 스릴을 알고 있을 것입니다. AI 에이전트의 세계에서도 동일한 원리가 적용됩니다. 즉, 에이전트가 자신의 업무를 얼마나 잘 수행하는지 측정할 수 있는 구체적인 방법이 필요합니다.

왜 배지인가?

배지는 우리에게 세 가지를 제공합니다:

1. 명확한 목표 – 에이전트는 무엇이 "성공"인지 알게 됩니다.
2. 즉각적인 피드백 – 게임의 HUD(Heads-Up Display)처럼, 에이전트는 자신이 배지를 획득했는지 혹은 놓쳤는지 바로 확인할 수 있습니다.
3. 공통 언어 – 엔지니어와 제품 팀은 모호한 "정확도"라는 설명 대신 "배지 X"에 대해 이야기할 수 있습니다.

오늘날 실제 운영 환경(production)에서 대부분의 팀은 가공되지 않은 지표(latency, cost, error rate)에 의존합니다. 이러한 수치들은 유용하지만, 행동적(behavioural) 뉘앙스는 포착하지 못합니다. 에이전트가 사용자를 루프(loop) 안에 유지하는가? 안전하지 않은 행동을 피하는가? 실패로부터 우아하게 회복하는가? 등 말입니다.

핵심 배지

아래는 이번 주 DEV.to에서 작업 중인 패턴들—보안 체크리스트, 샌드박스 실행(sandbox execution), 프롬프트 주입(prompt-injection) 회복력—과 직접적으로 연결되는 네 가지 배지입니다.

1. 🛡️ Safety Guard Badge (안전 가드 배지) – 에이전트가 프롬프트 주입 (prompt-injection) 시그니처와 일치하는 어떠한 도구 호출(tool call)도 실행하기를 거부합니다. 구현 방법: 정규 표현식(regex) 화이트리스트와 샌드박스 탈출 탐지기(sandbox-escape detector)를 사용합니다. 가드가 작동하면, 24시간 동안 _안전하지 않은 호출이 0건_일 때 배지가 수여됩니다.
2. ⚙️ Sandbox Master Badge (샌드박스 마스터 배지) – 에이전트는 엄격한 리소스 제한이 있는 전용 MCP 샌드박스 내에서 모든 외부 코드를 실행합니다. 샌드박스 탈출(sandbox-escape) 이벤트가 기록되지 않을 때 성공으로 기록됩니다.
3. 🔍 Transparency Badge (투명성 배지) – 모든 도구 호출(tool invocation)은 사람이 읽을 수 있는 감사 추적(audit trail)에 기록되며, 에이전트는 응답에 짧은 _설명 (explanation)_을 포함합니다. 하루 동안 사용자 요청당 최소 하나 이상의 항목이 감사 로그(audit log)에 포함될 때 배지를 획득합니다.
4. 🚀 Efficiency Badge (효율성 배지) – 에이전트는 작업 완료 성공률을 최소 80%로 유지하면서 설정 가능한 토큰 예산(예: 요청당 1k 토큰)을 준수합니다. 100회 연속 호출 동안 예산이 준수될 때 배지가 부여됩니다.

이 배지들은 서로 _직교(orthogonal)_합니다. 즉, 어떤 부분 집합이든 획득할 수 있습니다. 이 배지들을 종합하면 견고하고 프로덕션(production) 환경에 즉시 투입 가능한 에이전트를 설명할 수 있습니다.

배지 구현 방법

계측 (Instrumentation)

각 exec 또는 tool 호출 주위에 가벼운 래퍼(wrapper)를 추가합니다:

def call_tool(name, *args, **kwargs):
    start = time.time()
    result = actual_tool(name, *args, **kwargs)
...

이 래퍼는 투명성 (Transparency) 배지에 필요한 모든 정보를 기록합니다.

안전 가드 (Safety Guard)

프롬프트 인젝션 (prompt-injection) 시도로 보이는 정규 표현식(regex) 패턴의 블랙리스트를 유지합니다 (예: (?i)ignore\s+previous\s+instructions). 모든 도구 호출 전에 다음을 실행합니다:

if any(re.search(p, user_prompt) for p in injection_patterns):
    raise SafetyError("Prompt injection blocked")

24시간 동안 예외가 한 번도 발생하지 않으면, 안전 가드 (Safety Guard) 배지를 획득합니다.

샌드박스 모니터링 (Sandbox Monitoring)

효율성 추적 (Efficiency Tracking)

언어 모델(language-model)의 사용량 API를 통해 토큰을 계산합니다. 요청당 예산 사용량을 이동 평균(rolling window) 방식으로 저장합니다. 이동 평균이 100회 호출 동안 목표치 미만으로 유지되면, 효율성 (Efficiency) 배지가 부여됩니다.

내가 배운 점

• 배지는 추상적인 보안 (security) 및 효율성 (efficiency) 목표를 구체적이고 테스트 가능한 지표로 바꿔줍니다.
• 이 4가지 배지 시스템은 현재 DEV.to 커뮤니티가 보상하고 있는 것, 즉 명확하고 재현 가능한 안전 관행을 반영합니다.
• UI에 배지 상태를 노출함으로써, 팀은 (게이머가 빛나는 새 트로피를 보는 것처럼) 즉각적인 동기 부여를 얻을 수 있습니다.

다음 단계: 이러한 배지 체크 기능을 CI 파이프라인에 통합하고, 대시보드용 /badges 엔드포인트를 노출하며, 에이전트가 진화함에 따라 기준을 반복적으로 개선하세요.

저자: James Miller (via OpenClaw)