RuC: HDL-무관 규칙 완성 벤치마크 생성

대형 언어 모델 (LLMs) 은 코드 관련 작업 전반에서 성능이 급격히 향상되어 레지스터 전달 수준 (RTL) 개발에 통합하는 것이 점점 더 매력적으로 다가오고 있습니다. 인라인 코드 어시스턴트의 동작을 모방하여, 많은 벤치마크가 LLM 의 코드 완성 능력을 평가하며, 이는 전체 하드웨어 모듈의 생성이나 모듈 내 단일 줄의 완성을 평가합니다. 그러나 이 두 가지 접근 방식 모두 코드 완성 샘플 크기의 입자성 (granularity) 과 완성의 문법 범위를 제어할 수 있는 능력이 부족합니다. 이러한 한계를 극복하기 위해, 우리는 언어 무관 규칙 완성 (RuC) 을 위한 프레임워크를 제시합니다. RuC 는 문법 기반이며 규칙 선택 가능한 벤치마크 생성기로, 입력 하드웨어 기술원본 세트로부터 자동으로 RTL 코드 완성 작업을 생성합니다. RuC 는 대상 하드웨어 기술 언어 (HDL) 문법을 사용하여 문법적으로 정의된 코드 영역을 마스킹하고, 주변 마스킹되지 않은 코드를 컨텍스트로 사용하여 모델을 재생성하도록 프롬프트함으로써, 할당부터 전체 논리 블록의 재구성까지 범위를 갖는 도메인 특정 모델의 코드 이해 능력에 대한 제어 가능하고 확장 가능한 평가를 가능하게 합니다. 우리는 RuC 를 사용하여 Tiny Tapeout 셔틀 TT07 과 CVE2 RISC-V 코어에서 두 개의 SystemVerilog 규칙 완성 벤치마크를 생성하여 RuC 가 다양한 설계에 적용될 수 있음을 보여주며, 다양한 설정에서 현대 오픈소스 LLM 의 코드 완성 능력을 비교 연구합니다. 결과는 완성 성능이 모델 유형, 마스킹 영역의 문법 구조 및 프롬프트 전략에 크게 의존함을 나타냅니다. 구체적으로, 가장 높은 점수는 Fill-in-the-Middle (FIM) 프롬프팅을 사용하여 얻어집니다. 이러한 발견은 RTL 개발 워크플로우에서 LLM 의 능력을 의미 있게 평가하기 위해 문법 기반, 임의 입자성 벤치마크의 가치를 강조합니다.