BenchmarkAnything: 시뮬레이터 준비가 가능한 마이크로아키텍처 벤치마크의 에이전트 기반 구축

컴퓨터 아키텍처에서 벤치마크 워크로드의 선택은 매우 중요합니다. 왜냐하면 이는 아키텍처 혁신을 측정하고 안내하는 기준점을 설정하기 때문입니다. 하지만 수십 개의 워크로드로만 구성된 SPEC 벤치마크 스위트가 지난 수십 년 동안 학술적 아키텍처 연구에서 사실상의 표준으로 자리 잡아, 주요 평가 및 최적화 목표물로 자주 다루어져 왔습니다. 이렇게 작은 스위트에 지나치게 의존할 경우, 아키텍처 과적합(architectural overfitting)의 위험이 있습니다. 저희의 연구와 이전 연구들이 입증했듯이, 너무 좁은 초점은 특정 혁신을 과대평가하여 설계 결정을 오도할 수 있으며, SPEC 벤치마크에서는 탁월하지만 더 광범위하고 현실적인 워크로드에서는 성능이 떨어지는 코어를 만들어냅니다. 이러한 과적합을 완화하기 위해서는 크고 포괄적인 벤치마크 스위트를 채택하는 것이 자연스러운 해결책입니다. 그러나 시뮬레이터가 요구하는 깨끗하고 간섭 없는 바이너리 실행 파일로 소프트웨어를 분해하는 데 필요한 막대한 공학적 노력은 종종 이를 매우 비실용적으로 만듭니다. 본 연구에서 우리는 AI 에이전트가 이 문제에 우아한 해결책을 제공한다는 것을 보여줍니다. 또 다른 정적인 벤치마크 스위트를 수동으로 큐레이션하는 대신, 임의의 오픈 소스 저장소를 시뮬레이터 준비가 가능한 실행 파일로 자율적으로 변환할 수 있는 에이전트 기반 워크플로우를 소개합니다. 이러한 자동화된 접근 방식은 워크로드 수집을 매우 확장 가능하게 만들어, 공개 저장소에서 수백 개의 다양한 애플리케이션을 벤치마크 스위트로 신속하게 확보할 수 있게 합니다. 저희의 에이전트가 생성한 스위트를 SPEC과 비교 분석함으로써, 이는 더 높은 충실도의 성능 평가를 달성할 뿐만 아니라 전통적이고 정적인 스위트가 노출하지 못하는 새로운 아키텍처 통찰력을 발견한다는 것을 보여줍니다.