RTL 복구 벤치마크는 실제로 무엇을 측정하는가?

요약

본 논문은 RTL 복구 능력을 측정하는 새로운 벤치마크(RTLRepairBench)와 평가 인프라를 제시합니다. 연구진은 기존의 점수들이 시뮬레이션과 형식적 검증 간의 불일치, 그리고 명세서 사용 여부에 따른 편향을 포함하고 있음을 발견했습니다. 이에 따라 초기화, 리셋, 첫 사이클 등 다양한 측면을 고려한 새로운 평가 통제(evaluation controls)를 제안하며, 관련 자료를 공개합니다.

핵심 포인트

• RTLRepairBench는 손상된 RTL 복구 능력을 측정하는 새로운 벤치마크입니다.
• 기존의 점수는 시뮬레이션과 형식적 검증 간의 불일치를 포함하는 편향이 있습니다.
• 평가 통제(evaluation controls)를 통해 초기화, 리셋 등 세부적인 측면을 분석해야 합니다.