진화적 외부 루프(Evolutionary Outer Loop)가 도움이 되지 않을 시점을 미리 파악하는 방법: 사전 등록된 저비용 베이스라인

우리는 신경망 (neural-network) 파라미터나 구조에 대한 진화적 (evolutionary) / 인구 집단적 (population) / 생애주기적 (lifecycle) 외부 루프 (outer loop)를 구축할 가치가 있는지 구현 전 단계에서 결정하는 사전 등록된 스크리닝 규칙을 소개합니다. 이러한 외부 루프는 그래디언트 내부 루프 (gradient inner loop)보다 10^2~10^3배의 비용이 들지만, 저비용의 싱글샷 (single-shot) 대안보다 성능이 우수한지 여부는 대개 비용을 지불한 후에야 발견됩니다. 우리의 규칙은 Phase-0 게이트 (gate) 단계에서 단 하나의 수치인 회복률 R = s/G를 계산합니다. 여기서 s는 최적의 싱글샷 그래디언트/곡률 (gradient/curvature) 통계량의 이득이며, G는 평가된 모든 저비용 방법의 최적 이득입니다. 이 규칙은 R >= 90%일 때 외부 루프를 건너뛰도록 규정합니다. 우리는 실험실 내에서 사전 등록된 외부 루프 베팅 시리즈(두 개의 분석된 사례와 공개된 파일 서랍(file drawer) 사례 포함)를 통해 이 규칙을 검증했습니다. 분석된 두 사례 모두에서 정적 (static) 또는 싱글샷 계산이 프로젝트 자체 지표에 미치는 효과를 포착했으며, 게이트가 작동했습니다 (두 사례 모두 R이 약 1.0이었으며, 한 사례에서는 더 엄격한 지표 하에서 약 0.95였습니다). 이에 따라 외부 루프는 포기되었습니다. 여기에는 동반된 요인 분해 (factorial decomposition)를 통해 겉으로 보이는 승리가 진화적 생애주기 (evolutionary lifecycle)의 감지 가능한 이득 기여 없이 정적인 기질 변화 (static substrate change)에 국한됨을 국지화한 사례도 포함됩니다. 한 프로젝트에서 게이트 비용은 약 50-70 GPU-시간이 소요되었으며, 이를 통해 추정치 400+ GPU-시간(첫 번째 셀만 해당) 및 수 주간의 구현 시간을 걸러내어 6-8배의 절감 효과를 거두었습니다. 이 규칙은 전망적으로 반증 가능합니다(prospectively falsifiable): R < 90%인 작업에서 외부 루프가 여전히 싱글샷을 이기지 못한다면 이 규칙은 반증될 것입니다.