에이전트에게 하드웨어를 설계하도록 요구받는 경우가 증가하고 있으며, 성공했다는 보고도 늘고 있습니다. 이러한 보고들은 디자인이 개선되었다는 것만을 확립할 뿐, 왜(why) 개선되었는지는 확립하지 못합니다. 가속기(accelerator)를 개선하는 에이전트는 기계에 대해 추론하고 있을 수도 있고, 혹은 그 의미를 결코 되찾지 못하는 노브(knobs)들을 능숙하게 탐색하고 있을 수도 있습니다. 그리고 오직 전자가 다음 아키텍처로 전달됩니다. 기존의 평가 방식들은 문제의 틀(framing)을 고정한 채 에이전트만 변화시키기 때문에, 이 둘을 구별할 수 없습니다. 우리는 그 반대를 합니다. AutoTuring은 동일한 에이전트에게 동일한 15차원 가속기 공간을 두 번 제공합니다: 한 번은 시뮬레이터 카운터를 가진 명명된 아키텍처 노브(named architectural knobs)로, 다른 한 번은 평가자, 법적 공간(legal space), 도달 가능한 최적점(reachable optima)이 동일한 상태에서 [0,1]상의 익명의 변수(anonymous variables)로 제공합니다. 따라서 유일하게 변화하는 것은 그 문제가 의미를 가지는지 여부입니다. 이 둘 사이의 간격이 바로 측정 대상입니다. 9개의 커널 FP16 GEMM 바스켓에서 '의미'는 다음과 같은 결과를 가져옵니다: 아키텍트가 모델링된 H200보다 평균 5.4% 더 높은 성능을 보이고, 그 블라인드(blind) 대응물보다 평균 12.3% 더 높은 성능을 보이면서도 시뮬레이터 호출은 70.1% 적게 사용합니다. '의미'가 항상 유일하게 작용하는 것은 아닙니다: 비평가 루프(critic loop)는 블라인드 에이전트에게서 그 격차의 대부분을 회복시키고, 아키텍트에게는 아무것도 제공하지 못하여, 아키텍처 지식과 구조화된 비평이 상보적(complement)이기보다는 대체재(substitute)처럼 작동하는 것을 보여줍니다. 우리는 이것들을 예비 결과로 보고합니다—단일 모델링된 가속기에서 조건당 5~6회 실행—그리고 기여는 가속기가 아니라 비교 자체에 있다고 생각합니다.