HSCO-Bench: SoC를 위한 에이전트 기반 엔드투엔드 하드웨어-소프트웨어 공동 설계 벤치마크

대규모 언어 모델 (LLMs)이 소프트웨어 및 하드웨어 설계에 채택되고 있지만, 이 두 영역은 여전히 별도로 평가되고 있습니다. 소프트웨어 벤치마크는 일반적으로 고정된 하드웨어 타겟을 가정하는 반면, 하드웨어 벤치마크는 전체 하드웨어-소프트웨어 스택을 고려하지 않고 컴포넌트 수준의 최적화에 집중합니다. 결과적으로, 기존의 어떤 벤치마크도 LLM 에이전트가 엔드투엔드 (end-to-end) 시스템 수준의 하드웨어-소프트웨어 공동 설계 (hardware-software co-design)를 수행할 수 있는지 평가하지 못하고 있습니다. 이러한 프로세스에는 다음이 필요합니다: 1) 가속이 필요한 커널 (kernels)을 식별하기 위한 애플리케이션 분석, 2) 자원 제약 조건 하에서 이기종 가속기 (heterogeneous accelerators)를 설계하고 System-on-Chip (SoC)에 통합, 3) 생성된 가속기에 커널을 매핑하는 작업. 우리는 가속기가 풍부한 이기종 SoC 생성을 위한 엔드투엔드 하드웨어-소프트웨어 공동 설계 벤치마크인 HSCO-Bench를 제시합니다. 큐레이션된 저장소 구조를 가진 오픈 소스 SoC 플랫폼을 기반으로 구축된 HSCO-Bench는 소프트웨어와 하드웨어 스택을 공동으로 최적화하여 AMD Virtex-7 FPGA VC707 평가 키트에 배포되는 SoC 프로토타입을 생성하는 LLM의 능력을 평가합니다. 실험 결과, 현재 모델들에게 엔드투엔드 통합은 여전히 어려운 과제로 남아 있음을 보여줍니다. 평가된 5개의 최첨단 (frontier) 모델 중 단 2개만이 유효한 SoC 프로토타입을 성공적으로 생성할 수 있었습니다. 그러나 이러한 성공적인 사례에서도 생성된 설계는 최적과는 거리가 멀었습니다. 16.22배의 유망한 최대 속도 향상 (speedup)을 관찰했지만, 최대 추가 자원 활용률은 23.67%에 불과했습니다. 이는 최첨단 모델들이 하드웨어 가속을 위한 신흥 능력을 보여주고 있음에도 불구하고, 여전히 가용 하드웨어 용량을 크게 활용하지 못하고 있어 향후 최적화의 여지가 남아 있음을 강조합니다. 우리가 알고 있는 바로는, HSCO-Bench는 이 완전한 공동 설계 흐름을 목표로 하는 최초의 벤치마크이며, LLM이 이기종 SoC의 소프트웨어와 하드웨어 스택 모두를 공동으로 추론하고 수정할 수 있도록 합니다.