에이전트 기반 Kubernetes 운영을 위한 측정 기질: 방법론 및 검색 결합 허위 검증(retrieval-compounding

자율적인 Kubernetes 운영 에이전트에 대한 실증적 주장들은 대부분 반증이 불가능합니다. 발표된 연구들은 에이전트가 비활성화된 베이스라인(baseline)과의 통제된 비교 없이 관찰 결과만을 보고하며, 선택 편향(selection bias)이 만연해 있고, 사전 등록된 결정 행렬(decision matrices)이 부재하며, 샘플 크기는 일반적으로 기반 점수 시스템의 노이즈 수준에 비해 너무 작습니다. 그 원인은 에이전트 자체를 제한하는 것과 동일한 격차에 있습니다. 코드 에이전트는 "작동했는가"를 빠르고 반증 가능한 정답(ground-truth) 신호로 변환하는 검증 기질(verification substrate)을 가지고 있지만, 운영(operations) 분야에는 그에 상응하는 것이 없습니다.

본 논문에서는 대상 Kubernetes 클러스터에 결함을 주입하고, 자율 에이전트가 어떻게 반응하는지 관찰하며, 정답에 대해 네 가지 축을 기준으로 반응을 점수화하고, 결과 라벨이 지정된 (상태, 행동, 결과) 튜플을 축적하는 폐쇄 루프 측정 프레임워크인 agent-breakage를 제시합니다. 이 프레임워크는 프레임워크 오류와 추론 오류를 구분하며, 결정론적 임베더(deterministic-embedder) 메커니즘을 통해 진정한 오프-컨디션(off-condition) 대조군을 지원하고, 사전 등록된 결정 행렬을 강제합니다.

우리는 과거 사후 분석(postmortems)에 대한 검색(retrieval)이 에이전트의 능력을 결합(compounds)시키는지 테스트하기 위한 사례 연구로 이를 사용합니다. 방법론적 핵심은 해당 사례 연구 중 이 기질이 포착한 세 가지 혼란 변수(confounds)입니다. 이 변수들은 동일한 연구의 도구가 덜 갖춰진 버전이었다면 잘못된 발표 주장을 만들어냈을 요소들입니다: pgvector 인덱스 버그, +19%의 선택 편향 인공물(artifact), 그리고 효과를 약 3배 과장한 소규모 샘플 추정치입니다.

검색 결과 자체는 부분적인 반증(falsification)입니다: p<0.05 수준에서 유의미한 3개의 밀집 코퍼스(dense-corpus) 시나리오 중 1개만이 해당되었으며, 통합 효과는 +3.9 퍼센트 포인트로 n=60에서는 유의미하지 않았습니다. 360회 실행을 통한 시나리오 내 코퍼스 밀도 스윕(corpus-density sweep) 결과, 근접 이웃(near-neighbors)의 기계적 정렬(mechanistic alignment)이 단순 개수(raw count)보다 지배적임을 보여줍니다. 이 프레임워크는 오픈 소스로 공개됩니다.