Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
디지털 파형 데이터에 대한 LLM의 시계열 추론 능력을 평가하기 위한 오픈 소스 벤치마크인 WaveformQA를 제안합니다. 다중 신호 상관관계와 이벤트 순서 등 8개 카테고리의 질문을 통해 모델의 한계를 분석합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델 (LLMs)은 코드 생성 및 추론에서 강력한 능력을 입증해 왔으나, 디지털 파형 (digital waveform) 데이터에 대한 시계열 추론 (temporal reasoning) 능력은 여전히 미개척 분야로 남아 있습니다. 디지털 파형에 대한 추론은 설계 검증 (design verification)에서 중요한 병목 구간임에도 불구하고, 기존의 벤치마크들은 주로 하드웨어 기술 언어 (HDL) 코드 생성을 평가하며 파형은 보조적인 문맥으로만 사용합니다. 본 논문은 디지털 파형에 대한 LLM의 시계열 추론을 평가하기 위한 오픈 소스 질의응답 벤치마크인 WaveformQA를 제시합니다. 이 벤치마크는 다중 신호 상관관계 (multi-signal correlation) 및 이벤트 순서 (event ordering)를 대상으로 하는 질문을 포함하여, 다양한 난이도의 8개 카테고리에 걸쳐 프로그램 방식으로 생성된 정답(ground truths)이 포함된 360개의 질문으로 구성됩니다. 파형은 오픈 소스 설계 구현으로부터 생성되어 재현성을 보장하며, 벤치마크를 실제 하드웨어 동작에 기반하도록 합니다. 최첨단 (frontier) LLM들을 평가한 결과, 모델들이 단순한 질의에는 합리적인 정확도를 달성하지만, 컨텍스트 윈도우 (context window)의 제한과 복잡한 시계열 및 다단계 질문에 대한 추론의 어려움으로 인해 성능이 저하됨을 확인했습니다. 또한, 파형을 이벤트 시간 JSON (event-time JSON) 표현 방식으로 나타내는 것이 표준화된 값 변경 덤프 (VCD) 형식에 비해 LLM의 추론 정확도를 향상시킨다는 것을 보여줍니다. 이 오픈 소스 프레임워크는 새로운 질문 카테고리로의 확장과 새로운 파형 소스의 임포트를 지원하여, 연구자들이 시계열 추론 실험을 신속하게 프로토타이핑할 수 있도록 합니다.