통계적으로 유효한 하이퍼파라미터 선택: 튜닝에서 보증(Guarantees)까지

하이퍼파라미터 선택(Hyperparameter selection)은 추론 시간 파라미터(inference-time parameters), 구현 수준의 설정(implementation-level settings), 그리고 결정 규칙을 구동하는 임계값(thresholds)과 같은 자유도(degrees of freedom)를 조정해야 한다는 점에서 현대 인공지능 시스템 배포의 핵심적인 단계입니다. 이러한 실질적인 중요성에도 불구하고, 하이퍼파라미터 선택은 일반적으로 그리드 탐색(grid search)이나 베이지안 최적화(Bayesian optimization)와 같이 신뢰성이나 안전성에 대한 공식적인 통계적 보증(statistical guarantees)을 제공하지 않는 최선 노력 기반의 경험적 방법(best-effort empirical methods)을 사용하여 수행됩니다. 본 논문(monograph)은 신뢰할 수 있는 하이퍼파라미터 선택을 위한 통합된 통계적 프레임워크를 제시하며, 이는 하이퍼파라미터 후보 집합에 대한 다중 가설 검정(multiple hypothesis testing)으로 문제를 공식화하는 학습 후 검정(learn-then-test, LTT) 패러다임에 중점을 둡니다. 이 프레임워크는 오류 확률(error probabilities)에 대한 명시적이고 유한 표본 제어(finite-sample control)를 통해, 평균 리스크(average risk), 분위수 리스크(quantile risk), 또는 정보 이론적 제약(information-theoretic constraints)에 대한 경계값과 같이 애플리케이션별 신뢰 요구 사항을 증명 가능하게 충족하는 하이퍼파라미터를 선택할 수 있게 합니다. 이를 뒷받침하는 통계적 메커니즘, 즉 p-값(p-values), e-값(e-values), 그리고 집중 부등식(concentration inequalities)은 별도의 부록에서 제1원리(first principles)로부터 개발되었습니다.