MLIRBench - 컴파일러 및 하드웨어 인식 추론을 위한 벤치마크 및 데이터셋
요약
본 논문은 LLM이 컴파일러의 Intermediate Representations(IR)에 대한 추론 능력을 평가하기 위한 벤치마크, MLIRBench를 소개합니다. 이 데이터셋은 프로그램 변형을 통해 EQUIV, DIVERGE, ERROR로 레이블링된 1,768개의 검증 쌍으로 구성됩니다. Gemini 3.1 Pro가 높은 정확도를 보였으나, 이는 LLM이 컴파일러 IR에 대한 의미론적 추론에서 여전히 격차를 가지고 있음을 보여줍니다.
핵심 포인트
- MLIRBench는 컴파일러 IR 기반의 의미론적 추론 연구를 위한 재현 가능한 기반을 제공합니다.
- 데이터셋은 EQUIV, DIVERGE, ERROR로 레이블링된 1,768개의 검증 프로그램 쌍으로 구성됩니다.
- Gemini 3.1 Pro가 모든 테스트에서 가장 높은 hard-label 정확도(92.65%)를 달성했습니다.
- LLM의 의미론적 분류 능력과 실제 실행 동작 예측 간에 격차가 존재함을 강조합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.PL (Programming Languages)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0