에이전트에게 복잡한 작업을 주면, 때때로 초반 몇 수 만에 잘못된 방향으로 진입합니다. 그럼에도 불구하고 에이전트는 성실하게 약 20수 정도 계속 진행하며, 대량의 도구 호출과 토큰을 소모한 후에야 겨우 '할 수 없었습니다'라고 응답합니다. 이처럼 '막혔는데도 계속 움직이는' 시간이, 직접 에이전트를 구동해 본 사람일수록 체감 효과가 큽니다. RL(강화학습)의 롤아웃 수집, 평가 배치, 장시간 작업에서는 실패하는 에피소드가 유독 길게 진행되는 경향이 있기 때문입니다.

7월에 발표된 논문 'Doomed from the Start: Early Abort of LLM Agent Episodes via a Recall-Controlled Probe Cascade'(Kai Ruan 외)는 이러한 낭비를 '실패할 것 같은 시도를 초기에 중단'함으로써 줄이는 방법을 제시합니다. 흥미로운 점은, 중단 판단 근거를 에이전트의 외부에서 관찰 가능한 행동이 아니라, 모델의 **내부 상태(Hidden Layer Activation)**에서 가져온다는 것입니다.

실패를 예측하는 연구에는 크게 두 가지 흐름이 있습니다.

첫 번째는 관측 가능한 궤적(action, observation, 오류 메시지 등)을 읽어내는 방식입니다. 같은 시기에 발표된 AgentForesight가 대표적인 예로, 궤적의 prefix만을 보고 '지금 이 한 수가 결정적인 실수인지'를 온라인으로 판별하는 7B 규모의 감사 모델을 훈련하여 기존의 독점(proprietary) 기준 성능을 Exact-F1 지표에서 능가했습니다. 이는 인간이 로그를 추적하는 것과 같은 차원에서, 더 똑똑하게 보는 방향입니다.

Doomed 논문은 여기에 새로운 관점을 제시합니다. 오직 관측되는 행동만을 보는 스코어러는 초반에는 거의 찍기 수준(라운드 1의 판별 성능은 동전 던지기와 유사)이며, 제대로 효과를 발휘하기 시작하는 것은 라운드 3~4 정도입니다. 그런데 그때쯤이면 전체 에피소드의 3분의 1 이상이 이미 끝났다는 지적을 합니다. 즉, 행동이 실패를 이야기할 무렵에는 절감할 수 있었던 계산 자원이 이미 소진된 것입니다.

반면 모델의 은닉 상태는 첫 단계에서 결말을 상당히 잘 예측합니다. 저자들은 각 라운드마다 에이전트가 행동 생성을 완료한 최종 토큰의 잔차 스트림 상에 있는 은닉 상태를 추출하고, 여기에 가벼운 선형 분류기(로지스틱 회귀)를 적용하는 것만으로 충분합니다. 이 내부 프로브는 라운드 1에서, 행동 기반 스코어러보다 AUC 지표에서 0.12~0.21 높았습니다. 게다가 은닉 상태 프로브에 행동 특징량을 추가해도 성능이 더 늘어나지 않았습니다. 이는 필요한 정보가 이미 내부 표현(internal representation)에 담겨 있다는 주장입니다.

개념적으로는 다음과 같습니다.

# 개념 코드 (아이디어 설명이며, 논문의 공식 구현/API가 아님)
# 각 라운드: 행동 생성 직후 최종 토큰의 은닉 상태를 가져옴
hidden = model(input_ids, output_hidden_states=True).hidden_states[layer][:, -1, :]
...

실패 확률을 제시하더라도, 단순히 '수상하면 멈춘다'는 방식으로는 성공했을 에피소드까지 건드릴 위험이 있습니다. 조기 중단(early abort)의 핵심은, 얼마나 많은 성공적인 에피소드를 놓치지 않으면서, 불필요한 시도만 절감할 수 있느냐에 달려있습니다.

논문의 해법은 이를 '재현율(recall)을 보장하는 중단 게이트의 연쇄(cascade)'로 설계했습니다. 라운드 1부터 6까지 각각 게이트를 배치하고, 각 게이트의 임계값을 이항 분포 하측 신뢰 한계(Clopper–Pearson)로 조정합니다. 분포에 가정을 두지 않는 distribution-free 방식이며, 게이트별 보장이 곱셈으로 전체 보장이 되지 않기 때문에, 각 라운드의 '재현율 예산'을 검증 데이터에서 일괄 최적화하여 에피소드 전체의 목표 재현율을 충족하도록 합니다. 결정된 캐스케이드(cascade)는 고정하고 독립 데이터로 사후 보장까지 검증합니다.

실무적으로 효과적인 이유는 이것이 조절 가능한 다이얼(knob) 역할을 하기 때문입니다. '성공하는 에피소드의 90%는 반드시 남긴다(recall 90%)'라고 결정하면, 그 제약 조건 하에서 절감할 수 있는 계산 자원을 최대화해줍니다. 얼마나 많은 좋은 시도를 희생시킬지라는 비즈니스 판단을 그대로 수치로 지정할 수 있습니다.

Qwen-2.5-7B / Llama-3.2-3B / Qwen3-1.7B 세 모델과 TextCraft, WebShop 두 환경, 총 24가지 조합으로 평가했습니다. 24가지 모든 조합에서 실제로 달성된 재현율은 목표치로부터 표준편차 1개 이내에 수렴했습니다.

성공률 90%를 유지하면서 생성 토큰을 60% 내외로 절감할 수 있다. 동일한 조건에서 비교한 '단일 게이트 (Single-gate)' 방식에 대해서는, 90% 재현율 (Recall) 기준 1.5~8.8배의 계산량을 절약했다고 한다. TextCraft는 레시피를 따라 목표 아이템을 합성하는 이진 성패 태스크이며, WebShop은 텍스트 기반의 쇼핑 태스크이다. 두 가지 모두 매 단계의 누적이 길어지기 쉬워, 조기 중단 (Early stopping)의 효과가 나타나기 쉬운 소재이다.

전제로, 이 방법은 은닉 상태 (Hidden state)를 읽을 수 있는 **화이트박스 (White-box)**를 전제로 한다. 활성화 값 (Activation)에 접근할 수 없는 외부 API 모델에는 적용할 수 없다. 효과를 볼 수 있는 곳은 자체적으로 호스팅하는 open-weight 에이전트, RL (강화학습)의 롤아웃 (Rollout) 수집, 평가 하네스 (Evaluation harness)와 같이 '실패 사례를 대량으로 생성하게 되는' 상황이며, 바로 그 지점이 비용의 온상이기도 하다.

저자들 스스로가 명시한 유보 사항도 존재한다. 검증은 사실상 소수의 환경과 모델 규모에서 이루어졌으므로, 태스크 분포가 달라지면 교정의 전제(교환 가능성)가 무너질 수 있다. 활성화 값은 이번에 오프라인의 teacher-forced 재실행을 통해 추출하였으므로, 실제 운영 환경에서는 서빙 측에서 읽어오는 별도의 구현이 필요하다. 교정 데이터가 적으면 도달할 수 있는 재현율 (Recall)에 상한이 있으며 (그들의 규모에서는 약 0.974가 한계), 애초에 전체 재현율 제어는 경험적으로 검증된 마진일 뿐 정리된 정리가 아니라는 점을 명시하고 있다.

그럼에도 불구하고 방향성 자체는 매우 훌륭하다. 에이전트의 내부 표현 (Internal representation)에는 본인이 언어로 내뱉기 전부터 '이것은 막혔다'라는 신호가 실려 있다. 이를 선택적으로 중단하는 '거부 옵션 (Reject option)'으로 구현하여 비용 절감이라는 실익으로 전환했다. 화려한 모델 업데이트에 관한 이야기는 아니지만, 에이전트의 청구서를 조용히 가볍게 만드는 종류의 작업이며, 이런 소박한 최적화야말로 현장에서는 매우 효과적이다.

1차 소스: