AI 에이전트가 정말 RTL-to-GDS를 완수할 수 있는가? 도구 상호작용형 EDA 워크플로우 벤치마킹을 통한 교훈
요약
LLM 기반 에이전트의 EDA 워크플로우 자동화 능력을 평가하기 위한 벤치마크인 FluxBench를 제안합니다. RTL 생성부터 GDS 도달까지의 엔드투엔드 과정을 분석하며, 에이전트 아키텍처와 비용 효율성(Token ROI)의 중요성을 입증합니다.
핵심 포인트
- EDA 워크플로우 평가를 위한 FluxBench 벤치마크 제시
- 에이전트 아키텍처에 따라 성능 격차가 최대 86.27% 발생
- 비용 효율성 측정을 위한 새로운 지표인 Token ROI 도입
- 도메인 특화 기술보다 에이전트 설계와 모델 역량이 핵심적 역할 수행
LLM(Large Language Model) 기반 에이전트 시스템은 전자 설계 자동화 (EDA) 분야의 유망한 패러다임으로 부상하며, 복잡한 설계 워크플로우를 자동화할 수 있는 강력한 잠재력을 보여주고 있습니다. 그러나 기존의 평가 방식은 주로 고립된 EDA 작업에서 개별 언어 모델을 검토하는 데 그쳐, 서로 다른 에이전트 시스템이 전체 EDA 흐름 전반에서 어떻게 작동하는지에 대한 통찰을 제공하는 데 한계가 있었습니다. 본 연구에서는 통일된 프롬프트, 도구 환경 및 기술 라이브러리 설정을 바탕으로 엔드투엔드 (end-to-end) EDA 워크플로우 상에서 AI 에이전트를 체계적으로 평가하는 FluxBench를 제시합니다. 우리의 평가는 오픈 소스 툴체인을 이용한 RTL 생성과 산업용 애플리케이션을 위한 폐쇄형 상용 EDA 도구를 사용하는 RTL-to-GDS 흐름을 포함하여 대표적인 시나리오를 다룹니다. 이러한 워크플로우를 통해 우리는 RTL 코드 생성, 반복적 수정 (iterative repair), 도구 피드백 활용, 논리 합성 (logic synthesis), 배치 및 배선 (P&R), 그리고 엔지니어링 변경 주문 (ECO) 자동화에 대한 에이전트의 역량을 평가합니다. 에이전트 시스템의 효율성을 더욱 구체화하기 위해, 우리는 토큰 사용량 및 실행 시간 비용 대비 EDA 산출물의 효과적인 개선 정도를 측정하는 비용 효율성 지표인 Token ROI를 도입합니다. 실험 결과에 따르면, 동일한 파운데이션 모델 (foundation model)을 기반으로 구축되었더라도 에이전트 시스템 아키텍처에 따라 최대 86.27%의 성능 격차가 나타날 수 있습니다. 또한, 유사한 작업 성능을 가진 시스템들 사이에서도 Token ROI는 무려 $105.92 imes$까지 차이가 날 수 있습니다. PicoRV32를 사례 연구로 사용한 RTL-to-GDS 흐름에서, FluxEDA는 최대 97.94의 엔드투엔드 점수를 달성하며, 도메인 특화 EDA 기술을 갖춘 Claude Code보다 최대 $8.39 imes$ 더 나은 성능을 보여주었습니다. 이러한 결과는 도메인 특화 기술만으로는 대규모 EDA 시나리오에서 에이전트의 성능을 향상시키기에 불충분함을 나타냅니다. 대신, 에이전트 시스템 설계와 파운데이션 모델의 역량 모두가 효과적인 자동화 EDA 워크플로우를 가능하게 하는 데 결정적인 역할을 합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기