어떤 최적화 도구(Optimizer)가 어떤 예산(Budget)에서 가장 좋을까? 검색 기반 SE를 위한 최적화 도구 토너먼트

요약

본 논문은 검색 기반 시스템 설정을 위한 20개 최적화 도구들의 성능을 비교하는 토너먼트를 진행했습니다. 그 결과, 특정 최적화 도구가 모든 상황에서 우월하지 않으며, 가장 적합한 도구는 주어진 '예산(Budget)'에 따라 달라진다는 것을 밝혀냈습니다.

핵심 포인트

• 최적화 도구의 선택은 고정되어 있지 않고 예산에 따라 변화한다.
• 레이블링 예산이 부족할 때는 geometric active learner가 유리하다.
• 레이블이 풍부한 환경에서는 differential evolution이 더 좋은 성능을 보인다.
• 14,000시간의 토너먼트 결과를 테이블 조회로 대체하여 효율성을 높였다.