소프트웨어 벤치마킹을 위한 올바른 선택: 상태 기반 환경에서의 일관된 결정

성능을 끊임없이 추구하는 과정에서, 현대 컴퓨팅 시스템은 워크로드(workloads)와 물리적 환경의 역동성을 수용하기 위해 상태 기반 메커니즘(stateful mechanisms)에 점점 더 의존하고 있습니다. 이는 효율성을 강화하지만, 벤치마킹(benchmarking)을 혼란스럽게 만들어 결과적으로 소프트웨어의 최적화를 어렵게 만듭니다. 실제로 적응형 메커니즘(adaptive mechanisms)은 그 본질상 측정값 사이에 시간적 의존성(temporal dependencies)을 도입하며, 개별 프로그램 성능에 대한 단순 추정치(naive estimators)를 편향되게 만듭니다. 이러한 편향을 교정하려면 시스템 역학(system dynamics)에 대한 추측적 가정이 필요하다는 점을 관찰한 결과, 우리는 절대적인 측정치보다 성능 차이(performance differentials)를 우선시할 것을 촉구하며, 소프트웨어 벤치마킹을 상대적 지식만으로 충분한 '가장 빠른 프로그램을 식별하는 결정 문제(decision problem)'로 공식화합니다. 이를 위해, 우리는 타당한 가정 하에서 프로그램별 편향이 상쇄되는 대조군(contrasts)의 일관된 추정치를 허용하는 단순한 실험 설계(experiment designs)를 제안합니다. 이러한 설계는 점근적으로(asymptotically) 올바른 결정을 도출하며, 상태 기반 환경에서 한정된 예산 내의 벤치마킹을 위한 견고한 방법론을 제공하여 성능 민감형 소프트웨어 개발에 폭넓은 시사점을 제공합니다.