이종 하드웨어 SoC에서 AI 추론 워크로드를 위한 공동 하드웨어 구성 선택 및 매핑의 에이전트 기반 설계 공간 탐색

현대의 엣지 시스템 온 칩(SoC)은 CPU, GPU, NPU와 같은 이종 처리 장치(PU)를 통합하며, 각 PU는 고유한 성능 및 에너지 특성을 가집니다. 실시간 지연 시간 및 에너지 제약 조건 하에서 AI 추론 워크로드를 이러한 SoC에 배포하려면, 워크로드를 PU에 공동으로 매핑하고 각 PU를 구성해야 합니다(예: 활성화할 코어 수 및 작동 주파수 선택). 이 공동 공간은 조합적으로 증가하여 완전 탐색이 불가능합니다. 설계 공간 탐색(DSE)에 대한 대부분의 이전 연구는 진화적 검색과 같은 블랙박스 최적화(BBO)를 적용하며, 여기서 각 평가는 지연 시간 및 에너지와 같은 집계된 메트릭만을 반환합니다. 최근 LLM 기반 DSE 역시 동일한 희소 피드백에 의존합니다. 우리는 이것이 효율성을 제한한다고 관찰했습니다. 즉, 설계 공간이나 특정 디자인 선택이 작동하는 이유에 대한 통찰력을 제공하지 못하며, LLM의 추론 능력을 상당 부분 활용하지 못합니다. 본 논문에서는 이종 SoC에서 AI 추론을 위한 공동 워크로드 매핑 및 PU 구성 선택을 수행하는 에이전트 기반 DSE 흐름인 TraceDSE를 제시합니다. TraceDSE는 시스템 실행 트레이스 형태의 풍부한 피드백에 의해 구동되는 반복적인 제안자-비평가 루프입니다. LLM 제안자 에이전트는 하드웨어 평가를 위한 후보 매핑 및 PU 구성을 생성합니다. 프로그램 가능한 트레이스 분석 도구를 갖춘 LLM 비평가 에이전트는 트레이스를 분석하여 병목 현상을 식별하고 목표 지향적인 개선 사항을 제안합니다. 이 루프는 각 설계 지점에 대한 더 깊은 통찰력, 더 높은 품질의 결정, 그리고 보다 효과적인 검색 결과를 제공합니다. 다양한 복잡성을 가진 모델과 다중 모델 파이프라인에 걸친 네 가지 AI 추론 워크로드에 대해 Intel Meteor Lake SoC에서 TraceDSE는 두 가지 최첨단 BBO 도구보다 일관되게 우수한 성능을 보였으며, NSGA-II 대비 최대 35%, 베이지안 최적화 대비 최대 68%로 파레토 프런티어 초부피(hypervolume)를 개선하는 동시에 하드웨어 평가 횟수는 약 6~9배 적게 요구했습니다.