Spec2Cov: LLM 기반 디지털 하드웨어 검증 자동화 프레임워크

디지털 하드웨어(Digital Hardware) 설계 과정에서 '검증(Verification)'은 가장 어렵고 자원 집약적인 단계 중 하나입니다. 설계가 완벽하게 유효성을 갖추고 상용 제품으로 출시되기 위해서는 모든 기능이 정확히 작동하는지 입증해야 합니다. 검증 팀의 목표는 디자인 커버리지(design coverage)를 최대화하면서도 명세서에 맞는 올바른 동작을 보장하는 것입니다.

하지만 현재까지 커버리지 클로저(Coverage Closure) 과정은 반복적인 제약 조건 랜덤 및 지향적 테스트(constrained-random and directed testing)에 의존하며, 이 과정이 여전히 상당 부분 수동적이고 노동 집약적이어서 느리고 비효율적입니다.

최근 대규모 언어 모델(LLM)의 코드 생성 능력이 외부 도구와 통합되면서, 하드웨어 설계 및 검증 작업을 자율적으로 수행하는 에이전트 워크플로우를 구축할 수 있게 되었습니다. 이러한 흐름 속에서 본 논문은 Spec2Cov라는 혁신적인 에이전트 프레임워크를 소개합니다.

Spec2Cov는 하드웨어 설계 명세서(design specifications)로부터 테스트 자극(test stimulus)을 자동으로 생성하고, 이를 반복적으로 개선하여 커버리지 클로저를 가속화하는 것을 목표로 합니다. 이 프레임워크의 핵심은 LLM과 실제 하드웨어 시뮬레이터 간의 지능적인 상호작용을 조정한다는 점입니다.

Spec2Cov는 다음과 같은 복잡한 작업을 자동화합니다:

1. 테스트 자극 생성: 명세서 기반으로 테스트 케이스를 자동으로 만듭니다.
2. 환경 관리: 하드웨어 시뮬레이터와의 연동 과정에서 발생하는 컴파일 및 시뮬레이션 오류를 스스로 감지하고 처리합니다.
3. 피드백 루프 구축: 커버리지 보고서를 파싱(parsing)하여 결과를 추출하고, 이 분석된 정보를 다시 LLM에 피드백하여 모델의 다음 테스트 계획을 정교하게 개선하도록 합니다.

연구진은 추가적인 미세 조정(fine-tuning) 없이도 Spec2Cov의 효과를 높이는 여러 기능을 구현했으며, 그 성능 향상을 입증했습니다. 다양한 크기와 복잡성을 가진 26개의 설계(CVDP 벤치마크 스위트 포함)에 걸쳐 평가한 결과, Spec2Cov는 단순한 설계에서는 100% 커버리지를 달성하는 등 매우 유망한 성능을 보여주었습니다. 또한, 복잡도가 높은 설계에서도 최대 49%의 커버리지 향상을 기록하며 하드웨어 검증 자동화 분야에 큰 기여를 할 것으로 기대됩니다.