일반 벤치마크가 실패할 때: 판매 도메인 평가 벤치를 처음부터 구축하기

Natnael Alemseged 에 의해 작성됨

τ²-Bench retail 가 측정하지 못하는 격차
Tenacious 는 B2B 영업 자동화 기업입니다. 이 회사의 에이전트는 고객의 전사 (prospect) 에 맞춘 개인화된 아웃리치 이메일을 생성하며, 이는 근본 데이터의 신호 신뢰도 (signal confidence) 에 맞춰 조정되고, 이메일에서 약속한 내용을 이행할 수 있는 실제 벤치 (bench) 용량으로 제한됩니다.

11 주 차에 들어가기 전 최고 경영진 팀의 질문은 간단했습니다. "이것이 우리 비즈니스, 우리 목소리, 우리 세그먼트, 그리고 우리의 벤치에 효과가 있는지 어떻게 알 수 있을까요?" 정직한 답은 "모르겠다" 였습니다. 에이전트가 테스트되지 않았기 때문이 아니라, 우리가 가지고 있던 테스트가 잘못된 테스트였기 때문입니다.

τ²-Bench retail 는 판매 에이전트가 일반적인 리테일 대화를 탐색할 수 있는지 여부를 측정합니다. Tenacious 에는 실제 JSON 요약 (summary) 과 맞춘 벤치 용량을 확인하고, 해고 및 자금 조달 신호에 기반하여 전사 (prospects) 를 올바른 ICP 세그먼트로 라우팅하며, 근본 데이터의 신뢰도 등급에 맞는 톤으로 아웃리치를 표현할 수 있는 에이전트가 필요합니다. 이는 공개 벤치마크가 평가하는 사항이 아닙니다.

제 1 일에 수행한 감사 (audit) 는 τ²-Bench retail 가 통과했을 것으로 예상되는 Week 10 실패 라이브러리에서 8 개의 프로브 ID 를 나열했습니다: P-009 부터 P-012 (벤치 과약속, 100% 트리거율), P-001 과 P-004 (ICP 오라우팅, 54%), P-005 와 P-019 (약한 신호 하에서의 공격적인 표현). 리테일 벤치마크는 이러한 출력을 유창함 (fluent) 이기 때문에 수용 가능하다고 점수 매깁니다. 그러나 Tenacious 에서는 회사가 지킬 수 없는 약속을 하기 때문에 수용 가능하지 않습니다.

격차를 발견한 방법: 감사 방법 (Week 10 과 Week 11 은 두 개의 연속된 프로젝트 스프린트를 의미합니다: Week 10 은 Tenacious 영업 에이전트 구축, Week 11 은 이를 기반으로 평가자, 벤치마크, 비판자를 구축함)

Week 10 의 증거는 제가 예상했던 것보다 더 유용했습니다. 실패 분류학 (failure taxonomy) 은 bench_overcommitment 가 해당 집계 (roll-up) 의 모든 벤치-가능성 프로브에서 트리거됨을 보여줍니다 (40/40; week_10_data/failure_taxonomy.md 참조). 이는 분포 문제 (distribution problem) 가 아니라, 체크의 체계적 부재입니다. 에이전트의 생성기는 용량을 약속하기 전에 bench_summary 를 조회하지 않았습니다.

ICP 라우팅에서도 동일한 패턴이 나타났습니다: ICP 오분류 집계에서 37 개 프로브 중 20 개가 해당됨 (54%; 같은 출처). 두 경우 모두 구조화된 컨텍스트 필드 (bench_summary, signal_confidence_tier, icp_segment) 가 입력에 존재했습니다. 생성기는 단순히 이들을 사용하지 않았습니다. 이는 Path A 보다 Path B 로 즉시 지목되었습니다. 출력은 유창했고, 생성 품질 문제는 없었습니다. 누락된 것은 초안 발송 전에 구조화된 컨텍스트를 확인하는 거부 (rejection) 레이어였습니다.

구체적으로 5 개의 프로브 트레이스가 결정을 주도했습니다:

프로브 ID | 추적 참조 | 실패 유형
P-009 | probe-4087895185a9 | 과약속: bench=3, 약속=10
P-010 | probe-d5299b421fc8 | NestJS 용량 약속됨이나 완전히 배포됨
P-001 | probe-8dc44eb36d33 | 해고+자금 조달 → 세그먼트 1 로 라우팅 (세그먼트 2 여야 함)
P-004 | probe-19f0af95e3e2 | 오픈 포지션 없음에도 불구하고 세그먼트 1 피칭
P-005 | probe-b3388b3c3582 | 중간 신뢰도 신호 하에서의 공격적인 오프너

이 5 개 모두 동일한 패턴을 공유합니다: 구조화된 필드 (structured field) 를 무시한 것입니다.