D+T2는 진입자를 결정하고, 예산은 노출을 결정한다
요약
에이전트 결정론적 환상 시리즈의 일부로, 에스컬레이션 스트림 내에서 진입자 결정과 예산 배분이 노출에 미치는 영향을 분석합니다. 모델의 MISS 질량과 스트림 내부 순위가 시스템 성능에 미치는 구조적 관계를 탐구합니다.
핵심 포인트
- D 스트림의 MISS 질량이 단일 판사 출력에서 희석될 만큼 충분하지 않음
- 에스컬레이션 스트림 내의 순위(rank)가 변화를 일으킬 수 있는지 분석
- 예산(budget)이 특정 임계치를 초과할 때 트리거의 노출 결정 기능 한계 지적
- 모델별(qwen3-0.5b, gemma3 등) MISS 발생 패턴의 구조적 차이 확인
D+T2는 진입자를 결정하고, 예산은 노출을 결정한다
에이전트 결정론적 환상 (Agent Determinism Illusions) (Part 15)
위치 정보: 이 파트는 Part 8의 채널 격차(channel-gap) / 기술 게이트(skillgate) 스레드(이 번호 체계에서는 아직 미발행됨)를 이어가는 것이 아닙니다. 이는 Part 7의 에스컬레이션(escalation) 라인과, Alexey Spinov 및 Mike Czerwinski가 "어느 스트림인가"를 넘어섰던 Part 6의 댓글 스레드를 이어갑니다. 번호가 의도적으로 15로 건너뛰는 이유는 Part 8–14가 이미 다른 아크(arc)를 담고 있기 때문입니다. 여기서 발행 순서는 7 → 15입니다.
Part 7은 다음과 같이 마무리되었습니다: 발산(divergence)은 유지되며, T1/T2가 이에 합류하지만, 그들 중 누구도 참신함의 축(novelty arm)은 아닙니다. 이는 에스컬레이션 세트에 **누가 진입하는지(who enters)**에 대한 답을 제공합니다. 하지만 세트가 인간의 예산(human budget)보다 커질 때 어떤 일이 발생하는지에 대해서는 답하지 않습니다.
Part 6 스레드에서 Alexey는 배선(wiring)에 대한 경고를 게시했습니다: 2%의 예산 하에서 도착 순서(arrival order)에 따라 두 번째 스트림 S를 D에 병합하면, D 단독일 때보다 더 적은 MISS를 포착할 수 있습니다. Mike는 이 미결 과제를 **스트림 내부의 순위(rank-inside-stream)**로 재정의했습니다. 커버리지 제한(coverage-limited)은 이력 기반 트리거 R의 하중을 견디는 속성(load-bearing property)이며, 아직 아무도 설계를 제안하지 않았습니다.
우리는 Alexey의 720개 셀 그리드를 재현하지 않습니다. 그것은 그의 파라미터 모델(π·h·r_m)이었으며, 이 리포지토리(repo)에는 포함되어 있지 않습니다. 우리는 df_proxy(scripts/merge-displacement-grid-test.py)에서 관련 점검을 수행했고 **구조적 NULL(structural NULL)**을 얻었습니다: D 스트림(conf<0.9)은 이 고정 장치(fixture)에서 MISS 결핍 상태입니다 — qwen3-0.5b의 D는 115개 항목 중 2개의 MISS를 가졌고, gemma3는 147개 중 0개를 가졌습니다. 세 개의 모델, 여덟 개의 예산, 네 개의 추가된 스트림 — 총 96개 셀에서 D@arrival은 어느 곳에서도 0을 초과하지 않았습니다. 변위 형태(displacement shape)가 작동할 곳이 없습니다. 그 자체가 발견 사항입니다: 실제 단일 판사(single-judge) 출력은 희석할 만큼 충분한 D의 MISS 질량(miss-mass)을 제공하지 않습니다.
이 파트는 더 약한 명제로 전환합니다: 순위(rank)가 어떠한 에스컬레이션 스트림 내부에서도 변화를 일으킬 수 있는가 — 그리고 그 형태가 취해야 할 이중 선형 생산(dual-line production)은 무엇인가.
1. 바닥 볼륨이 스트림 선택을 이긴다
1. 바닥 볼륨이 스트림 선택을 이긴다
진정한 양성(true positives)이 에스컬레이션 스트림에서 예산 k를 초과하면, 어떤 트리거 정의가 “누가 노출되는지”를 제공하지 못한다. 클래스 필터는 트리거가 찾기 위해 존재하는 실패 사례들을 버리지 않고서는 TP 질량을 줄일 수 없다. 발산(divergence) 대 클래스 대 UHC 대 블렌드에 대한 싸움은 하드 캡 하에서의 큐 순서보다 부차적이다.
Part 7의 D+T2는 측정된 장치들에서 여전히 올바른 진입 정책(entry policy)이다. 그것은 순위 지정 정책(ranking policy)이 아니다.
2. 스트림 내 순위 지정 (존재성)
스크립트: scripts/rank-inside-stream-test.py → results-v2/rank-inside-stream.json.
DF v2의 전체 실행 트래픽(N=585)에 대해, 예산 1%/2%/5% 하에서:
- 바닥 볼륨 유지: B=2%(k=11)에서 오라클은 지방 스트림에서 약 92–94개의 ~80개 이상의 스트림 TP를 노출하지 못한다.
- 배포 가능한 프록시가 변화를 줄 수 있다: 제외한 하나(leave-one-out)
P(MISS|class)는 6/18 셀에서 도착 순서보다 우수하며; D+T2의 5%에서는 도착 순서 10 → 제외한 하나 29 (= 오라클). - 자연 다중 관점(N=60)은 배포 가능한 주장을 하기에 너무 작다. 여전히 도착 순서의 잔혹함을 보여준다: UHC∧class는 B=5%에서 3개를 포착하는 반면 D+T2는 0개를 포착한다.
따라서 열린 문제는 유지된다: 동일한 스트림, 동일한 B에서도 순서만으로 포착률이 달라진다.
3. 순위 지정기가 “출하”할 수 있을까? 사전 등록된 게이트
스크립트: scripts/ranker-prod-acceptance-test.py → results-v2/ranker-prod-acceptance.json.
후보 R_hist: 학습 윈도우의 P̂(MISS|class); 미노출 시 → 글로벌 사전 확률. 항목 자체의 레이블을 절대 들여다보지 않는다.
게이트 G0–G6 (그리고 스트레스 스윕에서 G7): 제외된 실패 질량; ≥ 도착 순서; 구성된 큐에 대한 휴리스틱 기준선 능가; 비열등성 병합(merge non-inferiority); LOMO; 콜드 스타트; 순위 지정 여유분 (도착 < 오라클).
계층화된 제외 질량에서 자연스러운 D+T2는 29/29 MISS이다 — 도착 순서가 이미 오라클과 같다; G6은 실패한다; 그곳에 SHIP이 존재한다면 공허할 것이다. 따라서 결정적인 프로토콜은 희석된 에스컬레이션 큐를 구성한다: 모든 제외된 D+T2 MISS + 비-MISS 방해 요소 ≈ 35%의 누락률, 방해 요소가 먼저 온다.
그 프로토콜에서: SHIP — B=5%, k=8에서 도착 순서 0 → R_hist 8 = 오라클 8.
범위 주의사항(Scope caveat), 명시적으로 선언함: 본 인증은 해당 트래픽 + 해당 B + 해당 희석 스트레스(dilution stress)에 대한 것이며, 보편적인 운영 보증(production warrant)이 아님.
4. 스트레스: 희석(dilution)은 이력(hist)을 죽이지 못하지만, 시간은 죽인다
스크립트: scripts/ranker-acceptance-stress-sweep.py → results-v2/ranker-acceptance-stress-sweep.json.
축(Axes): 피처(features) × 희석 미스율(dilution miss-rate) (15%→95%) × 홀드아웃(holdout) (층화(stratified) / 모델 내 시간적(within-model temporal) / 전역 시간적(global temporal)). G7 블록은 0=0 SHIP.
층화(Stratified): 모든 스윕된 희석(swept dilution) 단계에서 R_hist / R_hist_conf SHIP (다른 후보들은 그렇지 않음 — 예: R_conf_asc는 0.95에서 NO_SHIP).
35% 결과는 아슬아슬한 경계선(knife-edge) 상의 결과가 아니었음.
모델 내 시간적(within_model_temporal) (모델별 첫 70% → 학습(train)): R_hist는 15–65%에서 NO_SHIP (G2/G7 — conf_desc가 포화되는 동안 hist는 0을 포착); 밀집된 큐(dense queues) 80–95%에서만 SHIP을 회복함. global_temporal은 여전히 G0에서 실패(miss_test=1).
해석: 희석은 혼합(mixture)과 도착 순서(arrival order)를 스트레스 테스트하며, 클래스 테이블(class table)은 여전히 작동함. 시간적 홀드아웃(Temporal holdout)은 테이블이 여전히 보정(calibrated)되어 있는지를 스트레스 테스트함. 오래된 P(MISS|class)는 방해 요소(distractors) 아래에 실제 미스(true misses)를 순위 매기며, 높은 신뢰도(high-confidence) 순위 지정은 우연히 이 고정 장치(fixture)의 미스 형태와 일치함. 단일 피처가 모든 곳에서 SHIP을 수행하지는 않음.
5. 이중 라인 운영: Trigger∥Rank 및 Shadow∥Enforce
스크립트: scripts/dual-line-ops-sim.py → results-v2/dual-line-ops-sim.json.
운영 환경의 이중 라인(Production dual-line)은 비유가 아님:
| 라인 | 작업 |
|---|---|
| Trigger | 누가 진입하는가 |
| ... |
층화 + 희석 35%: 고정된 희석 상태에서 순위 상승(Rank lift) (R_hist − arrival)은 도착 시 최상의 trigger-only를 동등하게 능가하거나 앞섬; shadow hist는 +3/+8 상승 — dual-publish 지원.
모델 내 시간적(within_model_temporal): R_hist 상승 0; 도착 시 최상의 trigger는 T2 (3/8 포착) — 순위 테이블이 오래되었을 때는 Trigger 노브(knob)가 승리함. Shadow hist는 공허해짐(vacuous) → fallback_arrival; 안전 ≥ 강제(enforce). (conf_desc shadow는 상승했을 것이나 — 피처 선택은 여전히 중요함.)
결론
Part 7은 누가 진입하는지를 명명했습니다. Alexey는 수축 불가능한 바닥(unshrinkable floor)을 명명했습니다. Mike는 미해결 과제(open problem)를 rank-inside-stream이라고 명명했습니다. 오프라인 스위트(offline suite)는 다음과 같이 말합니다:
- 예산 범위 내의 순서(Order under budget)는 하중을 견디는(load-bearing) 요소입니다.
- 토이 히스토리 랭커(toy hist ranker)는 층화 홀드아웃(stratified holdout) 하의 구성된(constructed) 희석된 큐(diluted queue)에서 사전 등록된 게이트를 통과할 수 있습니다.
- 동일한 후보가 시간 유사 홀드아웃(time-like holdout) 하에서는 붕괴합니다 — 따라서 SHIP은 배(ship)가 아닙니다.
- 듀얼 라인(Dual-line)은 데이터와 일치하는 운영 형태(ops shape)입니다: 트리거(Trigger)와 랭크(Rank)를 분리하고; 강제(Enforce) 전에 섀도우(Shadow)를 두며; 섀도우가 공허해질(vacuous) 때는 fail closed(차단) 상태가 됩니다.
D+T2는 누가 진입하는지를 명명합니다. 예산은 누가 노출되는지를 명명합니다. 랭크(Rank)는 보정 가능하고 성능 저하가 가능한(degradable) 선이지, 또 다른 함정(tripwire)이 아닙니다.
이 글이 주장하지 않는 것: 프로덕션 레이블(production labels), 에이전트 게이밍(agent gaming), 라이브 catch@k 신뢰 구간, 또는 R_hist가 올바른 프로덕션 스코어러(production scorer)라는 점입니다. 그것들은 프로덕션 게이트(섀도우 주간, 슬라이딩 재보정, 실제 감사 결과)의 영역이지, 이 고정 장치(fixture)의 영역이 아닙니다.
시리즈: Agent Determinism Illusions · 스크립트: GitHub
이전 내용 (논증 흐름): Part 7 — Divergence escalates the wrong population
댓글 스레드 기원: Part 6
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기