RuC: HDL-무관 규칙 완성 벤치마크 생성

요약

본 논문은 대형 언어 모델(LLMs)을 레지스터 전달 수준(RTL) 개발에 통합하는 추세 속에서 발생하는 기존 코드 완성 벤치마크의 한계를 극복하기 위해 '언어 무관 규칙 완성(RuC)' 프레임워크를 제안합니다. RuC는 문법 기반이며 규칙 선택 가능한 벤치마크 생성기로, 입력된 하드웨어 기술 언어(HDL) 소스 코드 세트로부터 자동으로 RTL 코드 완성 작업을 생성할 수 있습니다. 이 프레임워크는 마스킹을 통해 특정 영역의 코드를 제어하고 주변 컨텍스트를 활용하여 모델의 코드 이해 능력을 평가함으로써, 할당부터 전체 논리 블록 재구성까지 다양한 범위에서 LLM 성능을 측정할 수 있게 합니다.

핵심 포인트

• RuC(Rule-agnostic Code Completion)는 HDL 기반 RTL 개발을 위한 새로운 벤치마크 생성 프레임워크이다.
• 기존의 코드 완성 벤치마크가 가진 입자성 및 문법 범위 제어의 한계를 극복한다.
• RuC는 마스킹된 영역과 주변 컨텍스트를 활용하여 모델에게 특정 범위의 코드 재구성을 요구함으로써 평가의 정밀도를 높인다.
• 실험 결과, LLM의 완성 성능은 사용되는 프롬프팅 전략(예: Fill-in-the-Middle) 및 마스킹 영역의 문법 구조에 크게 의존함을 입증했다.