SCDBench: LLM 기반 스마트 컨트랙트 디컴파일러를 위한 벤치마크
요약
LLM 기반 스마트 컨트랙트 디컴파일 성능을 평가하기 위한 새로운 벤치마크인 SCDBench를 소개합니다. 600개의 실제 Solidity 컨트랙트를 활용하여 형식 완결성부터 의미론적 일관성까지 4단계의 엄격한 평가 체계를 제공합니다.
핵심 포인트
- 스마트 컨트랙트 디컴파일을 위한 데이터셋 및 방법론 SCDBench 제안
- 형식 완결성, 컴파일 가능성, ABI 복구, 의미론적 일관성 4단계 평가
- 최첨단 LLM들도 의미론적 일관성 달성에는 여전히 한계가 있음
- 컴파일 수정(compilation repair) 도입 시 성능 향상 확인
스마트 컨트랙트 디컴파일 (Smart contract decompilation)은 바이트코드 (bytecode)로부터 고수준 소스 코드를 복구하는 것을 목표로 하지만, 기존 연구들이 좁은 데이터셋, 일관되지 않은 지표, 그리고 제한적인 의미론적 일관성 (semantic consistency) 검증을 사용하기 때문에 디컴파일러를 평가하는 것은 여전히 어렵습니다. 대규모 언어 모델 (LLMs)이 컴파일이 가능하고 그럴듯해 보이지만, 그 의미론이 원본 컨트랙트와는 달라질 수 있는 소스 형태의 Solidity 코드를 생성하기 시작함에 따라 이러한 격차는 점점 더 중요해지고 있습니다. 우리는 LLM 기반 스마트 컨트랙트 디컴파일을 위한 데이터셋 및 벤치마크 방법론인 SCDBench를 소개합니다. 이 데이터셋은 쌍을 이루는 바이트코드 입력, 정답 (ground-truth) 소스 코드, 그리고 재현 가능한 의미론적 체크포인트 (semantic checkpoints)를 포함하는 600개의 실제 Solidity 컨트랙트로 구성되어 있습니다. SCDBench는 네 가지 누적 단계인 형식 완결성 (format completeness), 컴파일 가능성 (compilability), 응용 프로그램 이진 인터페이스 (Application Binary Interface, ABI) 복구, 그리고 차분 재현 (differential replay)을 통한 의미론적 일관성을 통해 디컴파일러 출력을 평가합니다. 우리는 제로샷 (zero-shot) 디컴파일 설정에서 Claude Opus 4.7, GPT-5.3-Codex, 그리고 확장된 추론 (extended reasoning) 유무에 따른 GLM-5 변형 모델을 포함한 GLM-5를 평가하였으며, 제로샷 컴파일 수정 (compilation-repair) 설정도 포함하였습니다. 결과에 따르면 최첨단 (frontier) LLM들은 종종 구조화되고 컴파일 가능한 Solidity를 생성할 수 있지만, 의미론적 일관성을 달성하는 것은 여전히 해결되지 않은 과제로 남아 있습니다. 가장 성능이 좋은 최첨단 모델조차 600개의 컨트랙트 중 42개만을 완벽하게 디컴파일했습니다. 우리는 더 나아가 동일 모델의 컴파일 수정 (compilation repair)을 도입하는 것이 적절한 추가 비용으로 성능을 실질적으로 향상시킨다는 것을 보여줍니다. SCDBench는 엄격하고 재현 가능한 평가를 위한 공통 기반을 구축하며, 블록체인 보안과 투명성을 위한 신뢰할 수 있는 스마트 컨트랙트 디컴파일러의 개발을 가속화하는 것을 목표로 합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기