OpenEvolve 및 TTT-Discover와 같은 자율 발견 시스템(Autonomous discovery systems)은 종종 범용 하네스(general-purpose harnesses)로 사용됩니다. 그러나 실제로 이러한 시스템들은 아카이브(archives), 부모 선택(parent selection), 탐색(exploration), 예산 할당(budget allocation)에 관한 여러 설계 선택 사항을 하나의 레시피로 결합한 복합 시스템입니다. 발견 실행(discovery runs)은 비용이 많이 들고 본질적으로 확률적(stochastic)이기 때문에, 기존의 하네스들은 실행 간의 변동성(run-to-run variance)으로부터 주요 방법론적 개선 사항을 구별해내기에는 독립적인 시행 횟수가 너무 적은 상태로 비교되는 경우가 많습니다. 우리는 OpenEvolve 스타일의 진화적 탐색(evolutionary search)과 TTT-Discover 탐색 하네스를 구성 요소로 체계적으로 분해하였으며, 310만 회 이상의 LLM 롤아웃(rollouts)과 반복 시행 통계 분석을 사용하여 12개의 모델-문제 쌍(model-problem pairs)에 대해 예산이 맞춰진 30개의 하네스를 체계적으로 평가했습니다. 우리의 결과는 발견 하네스에 일반화 문제(generalization problem)가 있음을 보여줍니다. 즉, 평가된 모델-문제 쌍 전체에서 신뢰할 수 있게 우월한 고정된 하네스는 없으며, OpenEvolve의 변형들은 일반적으로 더 단순한 대안들보다 성능이 낮습니다. 따라서 하네스 선택은 보편적인 레시피라기보다는 하이퍼파라미터(hyperparameter)로 보는 것이 더 적절하며, 특정 문제와 기반 모델에 맞게 조정되어야 합니다. 우리는 또한 초기 발견 진행 상황이 최종 성능을 예측한다는 것을 발견했으며, 이 특성을 사용하여 여러 하네스를 시작하고, 약한 부분 실행(partial runs)을 가지치기(pruning)하며, 더 강한 생존자에게 컴퓨팅 자원을 재할당하는 예산 매칭 적응형 할당(budget-matched adaptive-allocation) 실험을 제시합니다. 이는 무작위로 샘플링된 고정 하네스를 고수하는 방식이나 비적응형 하네스 앙상블(non-adaptive harness ensemble)보다 뛰어난 성능을 보였습니다. 종합적으로, 이러한 결과는 고정된 하네스 선택에서 초기 성능에 의해 유도되는 온라인 적응(online adaptation)으로의 전환을 촉구합니다. 우리는 향후 하네스 제안에 대비한 재사용 가능한 통계적 인프라로서, 모든 모델-문제 쌍에 대한 베이스라인 영 분포(baseline null distributions)를 포함한 모든 실행 풀(run pools)을 공개합니다.