SmartEval: 자연어 명세로부터 생성된 LLM 기반 스마트 계약 평가를 위한 벤치마크

요약

SmartEval은 자연어 명세를 바탕으로 LLM이 생성한 Solidity 스마트 계약의 품질을 체계적으로 평가하기 위해 설계된 새로운 벤치마크입니다. 9,000개의 계약 코퍼스와 5차원 평가 루브릭을 제공하며, 전문가 평가 및 정적 분석 도구와의 비교를 통해 높은 신뢰성을 검증받았습니다. 연구 결과, LLM은 명세를 문자 그대로 따르는 특성 때문에 특정 실패 모드를 보이지만, 종합 점수에서는 정답 구현보다 높은 점수를 기록하기도 했습니다.

핵심 포인트

• 9,000개의 생성된 계약 코퍼스와 전문가 작성 정답 구현을 포함한 데이터셋 제공
• 기능적 완전성, 변수 충실도, 상태 머신 정확성 등 5가지 차원의 평가 루브릭 적용
• 인간 전문가 및 Slither 정적 분석기를 통한 높은 평가 일치도 검증
• LLM의 스마트 계약 생성 시 발생하는 주요 실패 모드(로직 누락, 상태 전이 오류 등) 규명
• 재현 가능한 생성 및 평가 파이프라인과 모든 데이터의 공개 배포