zhongkaiyu/ChipBench
요약
이 리포지토리는 Verilog 생성, 디버깅, 레퍼런스 모델링을 아우르는 종단 간(end-to-end) 평가 프레임워크를 제공합니다. LLM 기반의 다양한 Verilog 코딩 작업을 지원하며, OpenAI, Gemini 등 여러 백엔드를 통해 성능을 측정할 수 있습니다.
핵심 포인트
- Verilog 생성/디버깅/모델링을 위한 종합적인 평가 프레임워크입니다.
- OpenAI, DeepSeek, Gemini 등 다양한 LLM 백엔드 지원합니다.
- 코드 완성(code-complete)부터 명세 기반 RTL 생성까지 여러 태스크를 지원합니다.
- Few-shot 예제 및 코딩 컨벤션 제어가 가능하여 정밀한 평가가 가능합니다.
설치
docker build -t verilogeval:v2 .
docker run -it --name your-perfect-dokcer-name -v $(pwd):/workspace/verilogeval verilogeval:v2
개요
이 리포지토리는 Verilog 생성, Verilog 디버깅, 레퍼런스 모델 생성 및 유틸리티 도구를 아우르는 종단 간(end-to-end) 평가 프레임워크를 제공합니다. 개념적으로 네 가지 주요 구성 요소로 조직되어 있습니다:
- Verilog Gen: 다양한 구조와 난이도의 Verilog 설계를 생성하기 위한 데이터셋 (self‑contain / non‑self‑contain / CPU IP).
- Verilog Debugging: 0-shot 및 1-shot 디버깅 작업을 위한 버그가 포함된 RTL 변형(buggy RTL variants)과 관련
prompt.txt / ref.sv / test.sv파일. - Ref Model Gen: 동일한 문제 세트에 대한 크로스 언어 기능 레퍼런스 모델 (Python / CXXRTL / SystemC).
- Tool Box: 크로스 언어 일관성 검사 및 레퍼런스 모델 기반 테스트벤치 생성과 같은 검증 및 데이터 생성 유틸리티.
스크립트 (평가 진입점)
디렉토리: scripts/
sv-generate: 통합 LLM Verilog 생성 / 디버깅 스크립트.- 여러 백엔드를 지원합니다 (OpenAI, DeepSeek, Gemini, Claude, Together, 로컬 vLLM 서버).
--task는 높은 수준의 프롬프팅 스타일을 선택합니다. 예:code-complete-iccad2023:TopModule의 본문 완성.spec-to-rtl: 문제 명세로부터 RTL 직접 생성.
--examples와--rules는 퓨-샷(few‑shot) 예제 및 코딩 컨벤션을 제어합니다.
- 다른 파일들, 예를 들어
verilog-example-prefix_*.txt와prompt-example-prefix.txt는 다양한 작업/샷 설정에 대한 접두사 예제를 제공합니다.
사용법
빠른 시작
mkdir -p build/
MODEL_NAME=
mkdir -p build/
./configure --with-task=$task --with-model=$model --with-examples=$shots --with-samples=$samples --with-temperature=$temperature --with-top-p=$top_p
make
평가 속도를 높이려면 `make`에 `-j` 플래그를 제공할 수 있습니다. 예를 들어, 4개의 워커 프로세스를 실행하려면 `-j4`를 사용합니다.
사용 가능한 모델 목록은 `scripts/sv-generate` 상단에 나와 있습니다. 인컨텍스트 학습(in-context learning) 예제 수는 0~4 사이일 수 있으며 `--with-examples`로 지정할 수 있습니다. 문제당 수집할 샘플 수는 `--with-samples`로 지정합니다. 마지막으로, 모델의 온도와 top_p는 각각 `--with-temperature`, `--with-top-p`로 설정할 수 있습니다.
이러한 매개변수들은 쉘 스크립트를 사용하여 쉽게 순회(sweep)할 수 있으며, 각 평가 하니스 구성 대상에 대한 별도의 빌드 디렉토리를 생성합니다.
# 문의처
질문이 있거나 추가 정보가 필요하면 언제든지 다음 이메일 주소로 연락해 주세요:
<a href="mailto:[email protected]">[email protected]</a>와 <a href="mailto:[email protected]">[email protected]</a>.
저희 작업에 대한 더 자세한 내용은 다음 홈페이지도 방문할 수 있습니다: <a href="https://zhongkaiyu.github.io/" target="_blank">Zhongkai Yu</a>와 <a href="https://chz05.github.io/" target="_blank">Chenyang Zhou</a>.
AI 자동 생성 콘텐츠
본 콘텐츠는 GitHub ML Hardware의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0