VHDLSuite: 데이터 합성 및 평가를 포함한 LLM VHDL 생성을 위한 통합 파이프라인

대규모 언어 모델 (LLM)은 레지스터 전송 레벨 (RTL) 코드 생성, 특히 Verilog 분야에서 인상적인 능력을 보여주었습니다. 그러나 다른 하드웨어 기술 언어 (HDL), 특히 VHDL을 사용하여 모델의 성능을 평가하는 것은 여전히 제한적입니다. VHDL은 더 엄격한 의미론적 규칙 (semantic rules)과 같은 독특한 언어적 특성을 가지고 있어 Verilog와는 다른 평가 고려 사항을 도입하기 때문입니다. 이러한 커버리지의 부족은 현재의 모델들이 서로 다른 구조와 의미론을 가진 하드웨어 설계 언어 전반에 걸쳐 얼마나 잘 일반화되는지를 완전히 이해하는 것을 방해합니다. 이러한 격차를 해소하기 위해, 우리는 자동화된 벤치마크 합성, 실행 가능한 검증, 그리고 다중 모델 진단 분석을 통합하여 확장 가능한 VHDL 생성 평가를 위한 벤치마크 중심 인프라인 VHDLSuite를 소개합니다. 첫째, 우리는 Verilog 설계와 그에 수반되는 테스트벤치 (testbenches)를 실행 가능한 VHDL 벤치마크 인스턴스로 자동 변환하는 데이터 파이프라인을 제안하며, 이어서 공개되는 각 작업이 VHDL 환경에서 컴파일 가능하고, 실행 가능하며, 일관되게 확인될 수 있도록 VUnit/GHDL 기반의 검증을 수행합니다. 둘째, 우리는 다양한 복잡도 수준에 걸쳐 완전하고 검증된 테스트벤치를 포함한 200개 이상의 VHDL 문제로 구성된 벤치마크인 VHDLBench를 도입합니다. 셋째, 우리는 최첨단 LLM들을 광범위하게 평가하여 LLM 지원 VHDL 생성에 특화된 주요 과제들을 밝혀냅니다. 우리의 연구 결과는 중요한 통찰력을 제공하며 다중 언어 하드웨어 설계 자동화 분야의 향후 연구를 지원할 것입니다. 우리의 데이터 파이프라인, 벤치마크, 그리고 평가 프레임워크는 오픈 소스로 공개될 예정입니다.