머신러닝 (Machine-learning) 예측기는 사이클 단위 시뮬레이션 (cycle-level simulation)보다 훨씬 빠르게 프로세서 성능을 추정합니다. 그러나 설계 공간 탐색 (design-space exploration)을 위해서는 단순히 통상적인 하드웨어 순서를 재현하는 것뿐만 아니라, 서로 다른 하드웨어 구성이 개별 프로그램 단계에서 어떻게 순위가 매겨지는지 식별하는 것이 가치 있는 테스트입니다. 우리는 두 가지 설계 영역에서 네 가지 ML-예측기를 평가합니다: 발행 폭 (issue width), ROB 크기, 캐시 용량과 같은 하드웨어 자원을 변경하는 extit{구조적 파라미터 (Structural Parameters, SP)} 영역과, 프리페칭 (prefetching) 및 교체 알고리즘을 변경하는 extit{행동 정책 (Behavioral Policies, BP)} 영역입니다. SP 영역에서는 집계된 랭킹 (aggregate ranking) 성능이 강력하지만, 명확한 아키텍처 사전 지식 (architectural prior)이 있는 다섯 쌍의 비동점(non-tied) 윈도우 중 $22.4%$가 직관에 반하는 윈도우 (counter-intuitive windows, CIW)---즉, 더 느릴 것으로 예상된 구성이 더 빠른 경우---로 나타났습니다. 이러한 쌍들 사이의 CIW 일치율은 $23.3$--$39.9%$에 불과하며, 모든 점 추정치는 $50%$ 무작위 엄격 순위 (random strict-ordering) 기준 미만입니다. BP 영역은 다른 형태의 실패를 보여줍니다: 실제 값의 동점 (ground-truth ties)이 쌍-윈도우의 $37.8%$를 차지하며, 대부분의 엄격한 쌍은 단 몇 사이클의 차이만을 가집니다. 또한 어떤 모델 제품군도 특징이 없는 다수결 베이스라인 (feature-free majority baseline)을 안정적으로 능가하지 못합니다. NeuroScalar와 SimNet은 해당 베이스라인보다 낮은 성능을 보였고, Concorde는 통계적으로 베이스라인과 동등하며, 가장 잘 선택된 OneDSE 헤드는 단 $2.1$ 퍼센트 포인트만 개선되었습니다. 정확도는 주로 큰 차이가 있는 경우에만 상승합니다. 우리는 더 나아가 이러한 실패가 모델 용량 (model capacity)의 문제가 아님을 보여줍니다. 정보 이론적 분석 (information-theoretic analysis)에 따르면, 랭킹 결과가 명령어 스트림 (instruction stream)에 존재하지 않는 숨겨진 마이크로아키텍처 상태 (hidden microarchitectural state)에 의존할 때, 어떤 트레이스 기반 예측기 (trace-based predictor)도 관찰 가능한 입력만으로 결정되는 베이즈 정확도 (Bayes accuracy)를 초과할 수 없습니다. 따라서 높은 사이클 또는 집계 랭킹 정확도는 쉽고 차이가 큰 사례들을 숙달한 것을 반영할 수 있지만, 가장 많은 아키텍처적 통찰력을 담고 있으며 사이클 단위 시뮬레이션이 여전히 필수적인 국소적 역전 (local reversals) 현상은 놓칠 수 있습니다.