Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
ALTK-Evolve는 GPT-4.1과 같은 모델 가중치 업데이트 없이, 플레이북 학습을 통해 고객 서비스 에이전트의 성능을 향상시키는 방법을 제시합니다. 이 방법은 성공/실패 사례를 분석하여 추출한 행동 규칙(가이드라인)을 시스템 프롬프트에 추가하는 방식으로 작동하며, 기존 벤치마크인 τ²-bench에서 높은 점수를 기록했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Hugging Face Blog의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기ALTK-Evolve는 GPT-4.1을 사용하여 플레이북을 학습하고 적용함으로써, 모델 가중치를 업데이트하지 않고도 고객 서비스 에이전트 벤치마크인 τ²-bench의 리테일 항목들을 능가합니다.
오래되었고 추론 기능이 없는 모델인 GPT-4.1을 사용한 기본적인 고객 서비스 에이전트는 τ²-bench 리테일에서 67.5% Pass^4를 달성했습니다. 이는 67.5%의 작업에 대해 모든 네 가지 독립적인 시도에서 작업을 해결한다는 의미입니다. 이 점수는 저희가 2026년 10월 12일에 작성한 리더보드 스냅샷에서 모든 리테일 항목보다 높은 수치입니다. 이는 벤치마크의 기본 ReAct 골격 위에서, 학습된 가이드라인이 시스템 프롬프트에 추가되어 실행됩니다.
ALTK-Evolve는 GPT-4.1을 사용하여 이 플레이북을 구축합니다. 에이전트의 훈련 작업 시도들을 분석하고, 모델을 사용하여 성공과 실패를 짧은 행동 규칙으로 추출합니다: 고객 인증 방법, 거래 확인 방법, 또는 반품 처리 방법 등입니다. 그런 다음 이러한 가이드라인들은 후속 대화에 사용될 에이전트의 프롬프트에 추가됩니다. 동일한 모델이 가이드라인 추출과 에이전트 구동 모두에 사용되므로, 가중치 업데이트나 인간 주석 작업이 필요하지 않습니다.
저희의 이전 연구는 코딩 에이전트에 이 접근 방식을 입증했습니다. 여기서는 고객 서비스에 적용하여 테스트합니다. 고객 서비스에서는 도메인 정책을 따르고, 고객의 요청을 이해하며, 올바른 도구 작업을 실행하는 것이 성공에 필요합니다.
τ²-bench (Sierra 제공)는 에이전트가 실제 제약 조건 하에서 고객 서비스 대화를 얼마나 잘 처리하는지 측정합니다. 각 작업은 에이전트를 목표를 가진 LLM 시뮬레이션 고객과, 일련의 도메인 도구(주문 조회, 환불 발행, 항공편 재예약), 그리고 에이전트가 따라야 하는 작성된 정책 문서로 짝짓습니다. 에이전트는 올바른 세부 사항을 파악하고, 정책 내에 머무르며, 정확한 — 종종 되돌릴 수 없는 — 행동을 취해야 합니다. 작업은 최종 데이터베이스 상태가 예상 결과와 일치할 때만 해결된 것으로 간주되며, 이는 엄격한 이진 보상입니다. 저희는 그 두 가지 고객 서비스 도메인인 리테일과 **항공사(airline)**를 사용합니다.
저희는 gpt-4.1을 에이전트 모델로, gpt-5.5를 고객 시뮬레이터 모델로 사용하여 두 단계의 THINK → ACT 루프를 가진 τ²-bench 자체 구현의 기본적인 ReAct 에이전트를 실행했습니다. 각 태스크당 4회를 진행합니다. 저희가 변경하는 유일한 부분은 시스템 프롬프트에 추가된 학습된 가이드라인 블록입니다. 그 외 모든 것(정책, 도구, 스캐폴드)은 기존의 τ²-bench를 사용했습니다. 구체적으로, 학습된 가이드라인은 도메인 정책 다음에 일반 마크다운 목록으로 붙여집니다:
You are a customer service agent that helps users according to the policy below.
Always follow the policy strictly. Use the provided tools when needed.
<policy>
...
저희는 gpt-4.1을 사용하여 τ²-bench의 train 태스크에서 에이전트의 궤적(trajectories)으로부터 가이드라인을 추출한 다음, 이를 변경 없이 별도로 보관된 test 세트에 적용합니다.
이전 게시물에서 저희는 다양한 모델/태스크가 서로 다른 수준의 안내(guidance)를 필요로 한다는 점에 대해 이야기했습니다. 이 아이디어와 일치하게, 저희는 모델에 제공되는 가이드라인의 양도 다르게 평가합니다.
각 가이드라인은 support 개수를 가지고 있습니다. 이는 해당 가이드라인이 추출된 고유한 학습 태스크의 수를 의미하므로, 지원(support) 수가 높을수록 일회성이 아닌 더 많은 태스크에 걸쳐 일반화된 규칙임을 뜻합니다. 저희는 세 가지 구성을 비교합니다: baseline(가이드라인 없음), sup3(지원 $\ge 3$인 가이드라인만 유지 — 작고 신뢰도가 높은 핵심), 그리고 lossless(통합 후 보존되는 모든 가이드라인, 즉 지원 $\ge 1$)입니다.
표 1. 도메인별 가이드라인 구성 및 보존된 가이드라인 개수.
| Variant | Guidelines included in context | Retail | Airline |
|---|---|---|---|
| baseline | no guidelines | 0 | 0 |
| sup3 | support n ≥ 3 (high-support core) | 31 | 14 |
| lossless | all guidelines | 292 | 101 |
**평균 정확도(Mean Accuracy)**는 4가지 시도에 걸친 평균 성공률입니다. 이는 역량(capability) 축을 나타냅니다: 에이전트가 얼마나 자주 이 작업을 제대로 수행하는가?*Pass^4는 4가지 모든 시도에서 통과한 작업의 백분율입니다. 이는 신뢰성(reliability) 축을 측정하며, τ²-bench 리더보드가 보고하는 지표입니다. 이것이 중요한 이유는 환불 처리를 4번 중 3번 성공하더라도 실제 고객의 4분의 1은 여전히 실패할 수 있기 때문입니다. Pass^4는 에이전트가 평균적으로만 아니라 매번 신뢰할 수 있는지 측정합니다.
그림 1. gpt-4.1을 사용한 에이전트가 네 가지 시도에 걸쳐 확보된 리테일 및 항공 작업에서 보여준 평균 정확도와 Pass^4.
에이전트 모델: gpt-4.1 (사용자 시뮬레이터: gpt-5.5).
표 2. 네 가지 시도에 걸쳐 gpt-4.1을 사용한 에이전트의 확보된 성능. 괄호 안은 기준선 대비 백분율 포인트 변화를 나타냅니다.
| 도메인 (테스트 작업) | 구성(Config) | 평균 정확도 (Mean Accuracy) | Pass^4 |
|---|---|---|---|
| 리테일 (40) | baseline | 78.1% | 57.5% |
| sup3 | 78.8% (+0.7) | 60.0% (+2.5) | |
| lossless | 82.5% (+4.4) | 67.5% (+10.0) | |
| 항공 (20) | baseline | 57.5% | 35.0% |
| sup3 | 60.0% (+2.5) | 45.0% (+10.0) | |
| lossless | 65.0% (+7.5) | 40.0% (+5.0) |
평균 정확도는 두 도메인 모두에서 상승했습니다—리테일은 +4.4 pt (78.1 → 82.5), 항공은 +7.5 pt (57.5 → 65.0). 신뢰성은 더욱 높아졌습니다: 엄격한 Pass^4는 리테일에서 +10 pt (57.5 → 67.5) 및 항공에서 +10 pt (35.0 → 45.0) 상승했습니다. 그리고 이러한 향상은 대화가 길어져서가 아니라, 더 잘 정보를 얻은 통화 덕분입니다—우리는 Better performance costs more tokens(더 나은 성능이 더 많은 토큰을 소비함)의 경우를 통해 직접적으로 대화 길이를 살펴봅니다.
두 도메인은 얼마만큼의 가이드가 효과적인지에 대해 의견이 다릅니다. 리테일에서는 모든 지표에서 더 많은 것이 좋습니다—작은 sup3 코어만으로는 정확도 면에서 기준선을 간신히 넘을 뿐이며, 실제 큰 폭의 향상을 위해서는 전체 lossless 세트가 필요합니다. 반면 항공에서는 신뢰성 측면에서 상황이 바뀝니다: lossless는 정확도(65% 대 60%) 면에서 우수하지만, 간결한 sup3 코어 (14개 가이드라인)가 더 신뢰성이 높습니다. Pass^4를 [생략]}}
**45%**는 '손실 없음(lossless)'의 40% 대비 수치입니다. 이는 배포가 일정한 값이 아니라 조절 가능한 다이얼이라는 이전 발견을 뒷받침합니다.
따라서 **지원 카운트(support count)는 도메인별로 조정할 가치가 있는 노브(knob)**이지, 하드코딩해야 할 값이 아닙니다.
가이드라인은 무료는 아니지만, 그 비용이 예상되는 곳, 즉 길고 산만한 대화에 드는 것이 아니라 프롬프트 입력 토큰에서 발생합니다:
그림 2. 도메인 및 가이드라인 구성별 전체 기본 분할(full base split)에서의 대화당 총 LLM 비용.
표 3. 네 가지 시도에 걸친 전체 기본 분할(full base split)에서의 대화당 총 LLM 비용 (에이전트 및 사용자 시뮬레이터). 수치가 낮을수록 좋습니다.
| 도메인 | 구성 | 대화당 비용 | vs. 기준선 | |
|---|---|---|---|---|
| 리테일(Retail) | baseline | $0.084 | — | |
| sup3 | $0.095 | +12% | ||
| lossless | $0.139 | +65% | ||
| 항공(Airline) | baseline | $0.081 | — | |
| sup3 | $0.097 | +19% | ||
| lossless | $0.107 | +32% | : |
에이전트가 더 오래 말함으로써 그 목표를 달성할까요? 이를 명확히 답하기 위해 **비교 가능한 조건(like for like)**을 비교합니다. 즉, 기본선과 가이드라인 변형 모두에서 해결된 작업—동일한 시나리오와 시드(seed)를 가진 진정한
에이전트가 더 길게 말하는 것은 아닙니다. 공유된 세트를 기준으로 가이드라인은 대화를 약간 짧게: 손실 없는 트리밍으로 두 도메인 모두에서 약 0.3~0.4턴(리테일 10.59 → 10.16, 항공사 9.15 → 8.82)이 줄어들며, 어떤 변형도 이를 길게 만들지 않습니다. 이는 비용 이상의 의미가 있습니다: 각 턴은 순차적인 LLM 왕복(round-trip)이기 때문에, 턴 수가 적다는 것은 **낮은 종단 간 지연 시간(end-to-end latency)**을 의미하며, 단지 저렴할 뿐만 아니라 고객에게 더 빠른 완료 시간을 제공합니다. 유일한 실제 비용은 입력 측면, 즉 모든 LLM 호출에 사용되는 더 큰 시스템 프롬프트에서 발생합니다: 리테일의 292개 가이드라인 프롬프트는 비용을 ~$0.084에서 대화당 ~$0.139로 증가시키는 반면, 항공사의 작은 플레이북은 더 저렴합니다. 그리고 실제 운영 환경에서도 이는 **프롬프트 캐싱(prompt caching)**으로 상당 부분 회수 가능하기 때문에 더욱 그렇습니다. 가이드라인 블록이 모든 호출에 걸쳐 동일하기 때문입니다.
따라서 트레이드오프는 유리합니다: 약간 더 높은 입력 비용 (실제로는 대부분 캐시됨)을 감수하는 대신, 에이전트는 한 번에 더 높은 정확도, 더 높은 신뢰성, 그리고 낮은 완료 시간을 달성합니다. 이는 일반적인 품질 대 지연 시간의 트레이드오프가 아니라, 세 가지 모두가 올바른 방향으로 함께 움직이는 것입니다.
지금까지 우리는 오래된 비추론 모델인 gpt-4.1을 사용했습니다.
공정한 반론은 학습된 가이드라인이 최첨단(frontier) 모델을 사용하는 에이전트에게 추가할 것이 적을 수 있다는 것입니다: 어쩌면 단지 약한 모델의 격차를 메우는 것일 수도 있습니다. 그래서 우리는 이를 직접 테스트했습니다. 동일한 $ au^2$-bench ReAct 스캐폴드에서, 항공사에 대해 gpt-5.5를 에이전트와 가이드라인 추출 모두에 사용하여, 가이드라인을 에이전트의 자체 실행에서 재추출했습니다. 모델에 따라 한 가지 세부 사항이 변경됩니다: 이 설정에서 추출된 어떤 가이드라인도 지원 ≥ 3(최대 지원은 2)에 도달하지 못했기 때문에, 여기서 높은 지원 코어는 sup3가 아니라 sup2입니다.
표 5. gpt-5.5 에이전트의 네 가지 트라이얼별 출고 항공사 성능.
항공사 · gpt-5.5 (20개의 분리된 테스트 작업) | 정확도 | Pass^4 |
|---|---|
| baseline (0 가이드라인) | 72.5% | 55.0% |
| sup2 (103 가이드라인) | 80.0% (+7.5) | 70.0% (+15.0) |
| lossless (146 가이드라인) | 82.5% (+10.0) | 70.0% (+15.0) |
학습된 가이드라인은 이 설정도 개선합니다. 동일한 분리된 테스트 작업에서 이를 프롬프트에 추가하면 정확도가 +10점 (72.5 → 82.5) 상승하고, 엄격하게 측정되는 Pass^4가 +15점 (55.0 → 70.0) 상승합니다. 이는 gpt-4.1에서 관찰했던 것보다 더 큰 신뢰성 향상입니다.
이러한 작업들에서도 (+10점), 그리고 훨씬 높은 기본 점수에서 말이죠. 모델 주변에 가이드라인을 학습시키는 것은 에이전트가 더 강력한 기반에서 시작하더라도 개선할 수 있습니다. 또한, baseline의 신뢰성이 재실행마다 변동했던 곳에서 lossless 설정은 정확히 동일하게 재현했습니다. 이로 인해 얻는 이득은 운 좋은 우연이 아니라 믿을 만합니다.
제출물은 τ²-bench가 요구하는 대로 전체 기본 분할(full base split) (train ∪ test)에 대해 점수가 매겨지며, Pass^4 기준으로 보고됩니다. 이것이 분리된 테스트 분할이 아닌 전체 작업 세트를 다루기 때문에, 이 수치들은 위에 보고된 테스트 작업 수치와는 다릅니다. 여기서 실질적인 성과가 나타납니다. 프롬프트 수준의 메모리는 각 기본 모델을 사용하는 에이전트를 현재 최첨단 기업보다 더 높은 수준으로 끌어올리거나 넘어서게 합니다:
소매(Retail): 1위. 학습된 가이드라인을 사용한 에이전트는 기본 분할에서 **Pass^4 = 67.5%**를 달성하여, 모든 최첨단 모델보다 그리고 RAFT-30B-A3B(61.4%)보다 앞섭니다. RAFT-30B-A3B는 합성된 τ²-bench 소매 데이터로 미세 조정된 모델입니다. 기본 gpt-4.1과 프롬프트에 추가된 플레이북을 사용함으로써, 이 에이전트는 해당 미세 조정된 시스템보다 +6.1점 더 높은 성능을 보였습니다.항공사(Airline): 1위 공개된 순위에 따르면, 간결한 gpt-5.5를 사용하는 에이전트가 가장 뛰어났으며, gpt-4.1을 사용하고 sup3 core를 적용한 것은 **Pass^4 = 44%**로 8위를 차지하며 GPT-5.2(추론 없음)를 능가했고 Claude Sonnet 4.5에 거의 근접했습니다. 더 강력한 기본 모델과 동일한 접근 방식을 사용하면 전 분야에서 최고 기록을 달성합니다: gpt-5.5를 사용하는 에이전트는 82.0%에 도달하며 모든 최첨단 진입 장벽(66–72%)을 넘어서게 합니다.
Figure 3. ALTK-Evolve 실행 결과와 2026년 10월 12일자 $ au^2$-bench 리더보드 스냅샷 간의 Pass$^4$ 비교.
두 도메인 모두에서 동일한 메시지: 모델 주변 학습 가이드라인(learning guidelines around the model)이 다양한 기반 모델에 걸쳐 작동한다 — 구식 비추론 모델을 사용하는 에이전트를 리테일 분야의 최첨단 회사로 가져가고, 최첨단 모델을 사용하는 에이전트를 항공 분야에서 최고 수준으로 끌어올리는 것.
벤치마크를 사용하여 모델을 파인튜닝(fine-tuning)하는 것은 비용이 많이 들고, 취약하며, 다음 도메인으로 전이되지 않습니다. 여기서는 ALTK-Evolve가 두 도메인 모두에서 주식 모델에 주식 에이전트를 개선하는데 — 오직 **에이전트 자체 실행 결과에서 추출한 프롬프트 수준의 가이드라인(prompt-level guidelines)**만을 사용하여, 자동으로, 인간의 주석 없이, 그리고 테스트 세트 누수 없이 리테일 분야의 파인튜닝된 시스템과 일치하거나 능가합니다.
이전 게시물****ALTK-Evolve 라이브러리— https://github.com/AgentToolkit/altk-evolve**$ au^2$-bench**— https://github.com/sierra-research/tau2-bench**리테일 리더보드 제출**— $ au^2$-bench PR #542항공 리더보드 제출- $ au^2$-bench PR #551