오늘은 CPU 벤치밍 세계에 흥미로운 날입니다. 표준 성능 평가 회사 (Standard Performance Evaluation Corporation, SPEC) 는 널리 사용되고 인기 있는 SPEC CPU 벤치마크 세트의 새로운 버전을 출시했습니다. 이를 SPEC CPU 2026 이라고 부르는 것은, 시간이 지남에 따라 기술적 엄밀함과 중요한 공급업체 참여 덕분에 CPU 성능을 측정하는 업계에서 선도적인 벤치마크가 된 그룹의 긴 선에서 최신 버전입니다. 따라서 CPU 세트의 새 버전이 출시되는 것은 CPU 및 시스템 벤치밍 세계에서 중요한 행사이며, 다음 10 년의 CPU 는 이를 기준으로 측정될 것입니다.

SPEC CPU 의 첫 번째 새 릴리스는 9 년 만에 SPEC CPU 2026 으로, CPU 벤치밍 세트의 상당한 현대화를 목표로 합니다. 이전 버전 세트의 대부분의 벤치마크는 더 최신 워크로드를 위해 버려졌으며, 심지어 몇몇이 남아있는 경우에도 마찬가지입니다. Evergreen 소프트웨어, 예를 들어 오픈 소스 컴파일러 및 이미지 처리 라이브러리도 더 현대적인 워크로드를 갖도록 업데이트되었습니다. 그 결과는 SPEC CPU 2026 이 이전 버전과 동일한 상위 수준 설계 목표를 충족하지만, 실제 실행하는 코드는 Skylake, Zen 1, 그리고 Cortex-A75 시대 이후 크게 변했습니다.

기술적 엄밀함 외에도 SPEC CPU 세트는 업계 참여로 유명합니다. 벤치마크는 AMD, Intel, Arm, SiFive 를 포함한 CPU 세계의 거의 모든 주요 인물이 포함된 그룹에 의해 계속 개발되고 있습니다. 높은 공급업체 참여와 해당 세트에 대한 구매는 업계 내에서 SPEC CPU 의 정당성과 수용성에 기여하며, 그것은 공정한 벤치마크이며 더 중요하게는 그것이 그렇지 않다는 중요한 주장이 없다는 것이 광범위한 합의입니다. 이는 때로는 항해해야 할 작은 정치적 광야이지만, 이는 벤치마크가 릴리스 전에 매우 잘 테스트되고 검증된다는 것을 의미합니다. 다시 말하면 벤치마크의 정당성과 유용성을 확립하는 것입니다.

마지막으로, 오늘 SPEC CPU 2026 의 초기 릴리스를 앞두고 컨소시엄은 벤치마크의 성능을 평가하기 위해 릴리스 버전에 대한 조기 액세스를 제공했습니다. 따라서 오늘 상위 수준 발표와 함께 우리는 많은 신선한 데이터를 검토할 수 있습니다. 이제 더 이상 하지 않고 시작해 보겠습니다.

SPEC CPU 의 빠른 복습

지난 20 년 동안 평균적으로 약 10 년마다의 출시 주기에 따라, 우리가 STH 에서 얼마나 많이 사용하더라도 SPEC CPU 및 기타 SPEC 벤치마크를 사용하는 경우에도 우리는 그들의 기원이나 설계 결정에 대해 논의할 기회를 거의 얻지 못합니다. 따라서 이것이 당신이 새로운 SPEC CPU 벤치마크 세트의 릴리스를 처음 경험한 경우, 여기에는 SPEC CPU 가 무엇이며 왜 중요한지에 대한 유용하고 간략한 개요가 있습니다.

표준 성능 평가 회사 (Standard Performance Evaluation Corporation, SPEC) 는 이름에 있는 대로 임무가 있는 그룹입니다. 그것은 업계 표준 벤치마크 개발을 조직하기 위해 존재하는 비영리 산업 컨소시엄입니다. 다른 산업 컨소시엄과 마찬가지로, 그룹의 목적은 자체로 테스트를 개발하는 것이 아니라 주요 플레이어들을 업계 및 학계에서 모으는 데 있습니다.

SPEC 의 상대적으로 중요한 벤치마크 세트 컬렉션 중 가장 주목을 받는 것은 SPEC CPU 입니다. 이는 그 시대의 중요성 (1989 년에 출시된 SPEC 의 첫 번째 벤치마크) 과 사용의 광범위함 때문입니다. 명목상 서버 및 기타 고성능 시스템을 벤치마킹하기 위해 설계되었음에도 불구하고, SPEC CPU 는 데스크톱 및 워크스테이션 컴퓨터부터 최근 모바일 장치까지 다양한 수준의 장치를 포함하여 널리 사용되고 있습니다. 이러한 프로세서들은 이제 벤치마크 세트를 실행할 만큼 충분히 강력해졌고 (충분한 메모리와 함께) 있기 때문입니다. 결과적으로 SPEC CPU 는 스펙트럼 전반에 걸친 CPU 아키텍처를 비교하는 주요 벤치마크 중 하나가 되었으며, 다양한 CPU 의 성능, 전력 효율성 및 아키텍처 효율성 (IPC) 을 평가하는 데 사용됩니다.

벤치마크 세트의 보편성은 그 포터블리티에서 비롯됩니다. 특정 플랫폼을 위한 미리 컴파일된 바이너리로 배포되는 것이 아니라, SPEC CPU 벤치마크 세트는 소스 코드 전체로 배포됩니다. 따라서 C, C++, 및 Fortran 을 지원하는 현대 컴파일러 툴체인으로, 어떤 시스템에서도 (CPU 아키텍처와 관계없이) SPEC CPU 를 컴파일하고 실행할 수 있습니다. 이는 아직 존재하지 않는 CPU 아키텍처를 포함합니다. 물론 그 세부 사항에는 상당한 뉘앙스가 있습니다 (표준 준수형 컴파일器等 필요함), 하지만 이는 벤치마크가 특정 플랫폼을 지원하는 SPEC 에 의존하지 않고, 하드웨어 개발자가 더 이상 업스트림의 새로운 바이너리를 기다리지 않고도 즉시 새로운 하드웨어 기능을 채용하고 벤치마킹할 수 있음을 의미합니다.

그 대조점은, 특이하게도 SPEC CPU 는 하드웨어뿐만 아니라 컴파일러의 벤치마크와 동등한 것입니다. 소스 코드는 프로그램의 완전히 포터블한 고수준 구현을 포함하며, 따라서 CPU 인트릭스나 기타 아키텍처 특정 코드를 포함하지 않기 때문에, 벤치마크는 좋은 컴파일러를 통해 이를 빠른 효율적인 기계 코드로 변환하는 데 의존합니다. 이는 컴파일러 개선을 통해 SPEC CPU 점수를 높이는 것이 허용되는 것 (특히 자체 컴파일러를 생산하는 하드웨어 벤더에게 매우 중요한 측면) 을 의미하지만, 그 함정은 이러한 최적화가 SPEC 만을 위한 것이 아니어야 한다는 것입니다; 더 넓은 프로그램 클래스에 이점을 제공해야 합니다.

결국, 이는 대부분의 다른 CPU 벤치마크와 중요한 차이점입니다. 이들은 미리 빌드된 바이너리로 배포되므로, 특정 시스템이 매우 구체적인 기계 코드 세트를 얼마나 잘 실행하는지 측정하려는 반면, SPEC CPU 는 알고리즘 및 워크로드를 측정하는 것에 관한 것입니다. 이는 일상적인 사용에 거의 영향을 미치지 않지만, 벤치마크의 설계 기준과 SPEC 의 궁극적 목표를 이해하는 데 중요합니다.

설계 기준에 대해 말하자면, SPEC CPU 가 가능한 한 CPU 테스트가 되도록 설계되었음을 언급할 가치가 있습니다. 이는 다소 타우토로니컬하게 들릴 수 있지만,

컴퓨터 설계의 다른 측면과 관련이 있습니다. SPEC CPU 는 전체 시스템 벤치마크가 아닙니다 (SPEC 는 이를 위해 SPECworkstation 을 보유하고 있음). 이는 병목 현상을 최소화하는 설계 선택을 가진 CPU 와 메모리 서브시스템 성능 벤치마크입니다. 특히, SPEC CPU 는 파일 I/O 를 최대한 피하여 그것이 병목이 되지 않도록 합니다. 벤치마크들은 또한 비결정론적 입력과 동작 (예: 하드웨어 랜덤 수 발생기 및 불안정한 정렬) 을 제거하고 결정론적임을 보장하기 위해 원래 형태에서 작성되거나/수정되었습니다. 그리고 궁극적으로, 운영체제도 가능한 한 루프에서 제외됩니다: SPEC 는 벤치마크 실행 시간의 적어도 95% 가 사용자 코드 (user-land code) 에서 소비되도록 목표로 하므로, 벤치마크가 OS 를 위한 대안 테스트로 되지 않도록 합니다.

마지막으로, 워크로드 자체는 현대 컴퓨터 사용 사례를 대표하도록 선택되어 학문적 관심 밖에서 흥미가 적은 오래된 소프트웨어 또는 알고리즘을 테스트하지 않습니다. 실제로 이는 SPEC CPU 벤치마크 세트가 서버 및 워크스테이션에 좀 더 집중되는 결과를 낳습니다. 이는 포터블하고 헤드리스 (headless) 벤치마크이므로 UI 작업을 포함하지 않습니다. 그럼에도 불구하고, 벤치마크 세트의 전체 범위는 매우 광대하며, SPEC CPU 2026 이 가장 광범위함입니다. 최신 에디션의 52 개의 벤치마크 중에는 프로그래밍/컴파일링, 미디어, AI, 전자 설계, 네트워킹, 데이터베이스 및 계산 과학 워크로드를 위한 벤치마크가 있습니다. 그 결과, 벤치마크는 매우 넓은 범위의 알고리즘을 커버하며, 이를 통해 호스트 CPU 의 다양한 측면에 스트레스를 가합니다.