컴퓨터 아키텍처 (Computer architecture)는 진보를 측정하기 위해 오랫동안 벤치마크를 사용해 왔습니다. LLM 에이전트는 다른 측정 문제를 야기합니다. 성공은 단순히 코드를 작성하거나 파라미터 (parameters)를 조정하는 것에 그치지 않습니다. 에이전트는 워크로드 (workloads)를 해석하고, 메커니즘 (mechanisms)을 선택하며, 시뮬레이터 (simulators)를 사용하고, 성능을 예측하며, 엄격한 제약 조건 (hard constraints)을 충족하고, 어떤 실행 가능한 설계가 평가할 가치가 있는지 결정해야 합니다. 본 논문은 컴퓨터 아키텍처 설계 및 최적화 분야에서 LLM 에이전트를 평가하기 위한 벤치마크이자 플랫폼인 ArchEval을 소개합니다. 이는 8개의 시뮬레이터의 지원을 받아 CPU 코어 메커니즘, 시스템 아키텍처, 메모리 시스템, 가속기 (accelerators), 그리고 컴퓨트-인-메모리 (compute-in-memory)에 걸친 20개의 챌린지를 포함합니다. 각 챌린지는 세 가지 설정 하에 제시됩니다: 반복적인 시뮬레이터 피드백이 제공되는 L1 full harness, 시뮬레이터 소스는 사용할 수 있지만 에이전트가 자체적인 워크플로 (workflow)를 구성해야 하는 L2 simulator-code container, 그리고 제출 전 실행 가능한 피드백이 없는 L3 agent-only입니다. 각 실행은 베이스라인 대비 정규화된 검증기 (verifier) 성능을 보고하며 전체 궤적 (trajectory)을 기록하여, 결과를 워크로드 분석, 시뮬레이터-도구 사용, 예측, 제약 조건 처리 및 아티팩트 (artifact) 무결성과 연결합니다. 초기 결과는 현재 에이전트들의 뚜렷한 경계를 보여줍니다. L1 지원이 있을 때, 평가된 4개의 에이전트 모두 베이스라인에 도달하거나 이를 초과하며 다양한 시뮬레이터에 걸쳐 실제 설계를 개선합니다. 지원을 제거하면 약점이 드러납니다. 많은 에이전트가 시뮬레이터 소스를 유용한 실험으로 전환하는 데 실패하며, L3 예측은 종종 검증기 결과와 일치하지 않습니다. L3에서는 GPT-5.5 + Codex만이 베이스라인 이상을 유지하며, 1.21배의 기하평균 (geomean) 성능과 65%의 승률을 달성했습니다. 나머지 세 개는 베이스라인 미만으로 떨어졌습니다. GPT-5.5 + Codex조차 성능 모델링 통과율은 15%에 불과합니다. ArchEval은 오늘날의 에이전트를 자율적인 아키텍트라기보다는 유용한 최적화 보조 도구로 규정하며, 다음에 필요한 역량인 시뮬레이터-도구 사용, 보정된 예측 (calibrated prediction), 피드백 전 판단 (pre-feedback judgment), 그리고 유용한 메커니즘 발견을 식별합니다.