우리는 자연어 명세(Natural Language Specifications)로부터 대규모 언어 모델(LLMs)이 생성한 Solidity 스마트 계약(Smart Contracts)의 품질을 체계적으로 평가하기 위한 벤치마크인 SmartEval을 소개합니다. SmartEval은 FSMSCG 데이터셋에서 추출한 전문가 작성 정답 구현(Ground-truth implementations)과 쌍을 이루는 9,000개의 생성된 계약 코퍼스, 기능적 완전성(Functional completeness), 변수 충실도(Variable fidelity), 상태 머신 정확성(State-machine correctness), 비즈니스 로직 충실도(Business-logic fidelity), 코드 품질(Code quality)을 다루는 5차원 평가 루브릭(Evaluation rubric), 그리고 재현 가능한 생성 및 평가 파이프라인을 제공합니다. 벤치마크의 신뢰성을 검증하기 위해 우리는 세 가지 독립적인 실증 연구를 수행했습니다: 각 파이프라인 구성 요소의 기여도를 격리하여 분석한 5가지 조건의 어블레이션 연구(Ablation study, 조건당 N=300), 자동화된 점수가 전문가의 판단과 0.34점 이내로 일치함을 확인한 Columbia University 박사 과정 연구원 3인의 인간 전문가 평가, 그리고 LLM 감사자와 비(非) LLM 규칙 기반 도구 간의 79.4% 일치율을 확인한 Slither 정적 분석기(Static analyzer)를 통한 외부 보안 분석입니다. 9,000개의 생성된 계약에 대한 체계적인 분석 결과, 특징적인 실패 모드(로직 누락 35.3%, 상태 전이 오류 23.4%, 복잡도 기반 성능 저하)가 드러났으며, 생성된 계약이 정답 구현보다 +8.29점의 종합 점수 우위를 점한다는 점을 정량화했습니다. 이는 LLM의 문구 그대로 명세를 따르는(Literal specification-following) 동작에 기인합니다. SmartEval은 LLM 스마트 계약 합성 품질에 대한 실증적 연구를 위한 재현 가능하고 검증된 토대를 구축하며, 모든 데이터, 평가 코드 및 생성된 계약은 공개적으로 배포됩니다.