LLM 기반 하드웨어 설계: 모델보다 설정(Configuration)이 더 중요하다

요약

기존의 오픈소스 대규모 언어 모델(LLM) 벤치마킹은 어떤 모델을 사용하는지에 초점을 맞추고, 추론 시 디코딩 설정(decoding configuration)을 부차적인 문제로 취급해왔습니다. 본 연구는 하드웨어 설계(RTL Generation) 분야에서 LLM의 성능이 모델 자체의 차이보다 사용자가 설정하는 하이퍼파라미터에 훨씬 민감하다는 것을 입증했습니다. 26개의 오픈소스 LLM을 VerilogEval 및 RTLLM 같은 벤치마크로 평가하고, 특히 세 가지 주요 모델에 대해 108가지 조합의 광범위한 하이퍼파라미터 스윕(swe

핵심 포인트

• 하드웨어 설계용 LLM 성능은 모델 선택보다 디코딩 설정에 더 크게 좌우된다.
• 특정 LLM의 최적 성능과 최악 성능 간 격차는 평균적인 모델군 차이보다 훨씬 크다 (최대 25.5%p).
• 벤치마크 환경에서 얻은 최적 하이퍼파라미터 조합은 다른 작업이나 모델에 전이되지 않는다.
• LLM의 잠재력을 최대한 활용하려면 아키텍처와 벤치마크를 고려한 하이퍼파라미터 선택이 필수적이다.