현대 소프트웨어를 구성하고 튜닝하는 것은 피할 수 없고, 비용이 많이 들며, 오류가 발생하기 쉽습니다. 단일 시스템만으로도 수백 가지의 상호작용하는 옵션들이 노출될 수 있으며, 하나의 설정을 점수화하는 것이 전체 빌드 또는 테스트 실행을 의미할 수 있습니다. 일반적인 대응책은 자동 최적화(automated optimization)이지만, 사용 가능한 최적화 도구의 수는 많고 증가하고 있습니다. 게다가 이들 중 어떤 것을 선택해야 하는지에 대한 지침도 오해를 불러일으키는 경우가 있습니다. 예를 들어, NSGA-II가 널리 추천되지만, 다른 알고리즘들은 평가(evaluation) 횟수를 단지 1/20만 사용하여 동일한 결과를 달성합니다. 실무자들이 시스템을 구성하는 데 사용할 도구를 선택하는 데 더 나은 결정을 내릴 수 있도록 돕기 위해, 우리는 데이터에 대한 여섯 가지 가정을 기반으로 20개의 최적화 도구들을 클러스터링했습니다. 다음으로, 우리는 네 가지 레이블링 예산(labeling budgets)을 사용하여 이들 최적화 도구들 간의 토너먼트를 진행했습니다 (14,000개 이상의 CPU 시간 소요). 그 결과, 어느 하나의 최적화 도구가 압도적으로 승리하는 것은 없다는 것을 발견했습니다. 가장 좋은 도구는 예산에 따라 변화합니다(레이블이 부족할 때는 기하학적 능동 학습자(geometric active learner)에서 레이블이 풍부할 때는 차분 진화(differential evolution)로). 따라서 한 예산에서 '왕관'을 쓴 승자가 다른 예산에서는 최대 절반의 작업에서 틀릴 수 있습니다. 이러한 토너먼트를 모든 새로운 도메인에 대해 실행하는 것은 CPU 비용 때문에 비실용적입니다. 다행히도, 우리는 이 14,000시간이 얻기 쉬운 두 가지 작업 속성(task attributes)에 대한 테이블 조회(table lookup)로 대체될 수 있다는 것을 발견했습니다 (여기에 레이블링 예산 포함). 이 표를 이용한 예측은 보유된 작업의 약 75%에서 사후 추론 오라클(hindsight oracle)과 동등하거나 능가하는 성능을 보였습니다. 오픈 사이언스를 지원하기 위해, 우리의 토너먼트와 복제 패키지는 SBSE 연구원 및 실무자들을 위해 https://github.com/KKGanguly/OptimizerTournament에서 오픈 소스되었습니다.