SolBehave: LLM이 생성한 스마트 컨트랙트의 행동적 정확성 평가

대규모 언어 모델(LLM)은 점차 솔리디티(Solidity) 스마트 컨트랙트를 생성하며, 일단 배포되면 패치할 수 없게 되어 단 하나의 잠재적인 결함도 영구적으로 악용될 수 있게 만듭니다. 그러나 현재의 평가는 대부분 생성된 코드가 컴파일되는지 여부만을 묻고 있습니다. 우리는 임시방편적인 단위 테스트를 넘어, 대규모로 모델이 생성한 컨트랙트의 정확성을 평가하는 벤치마크인 SolBehave를 소개합니다. 250개의 실제적이고 재현 가능한 이더리움(Ethereum) 컨트랙트를 대상으로, 우리는 세 가지 상호 보완적인 행동 충실도 테스트를 적용했습니다: 차분 퍼징(differential fuzzing), 히스토리컬 트랜잭션 리플레이(historical-transaction replay), 그리고 핵심 기여인 동적 조건 응답(Dynamic Condition Response, DCR) 그래프에 의해 안내되는 합성 트랜잭션 리플레이입니다. 차분 퍼징은 각 생성된 함수를 자동으로 생성된 입력값으로 원본과 비교합니다; 히스토리컬 리플레이는 전체 컨트랙트를 실제로 온체인에서 받은 트랜잭션으로 비교합니다; DCR 기반 리플레이는 온체인에서 발생한 적이 없는 순서화까지 포함하여, 의도된 사용을 따르는 호출 시퀀스로 컨트랙트를 비교합니다. 우리는 자동 복구(automated repair) 한 라운드를 거친 7개의 최신 오픈 웨이트 모델을 평가했습니다. 컴파일 성공률은 26.4%에서 92.7%에 이르지만, 차분 퍼징 하에서는 모델과 샘플 전체를 합산했을 때 컴파일되는 모든 생성된 함수 본체 중 단지 31.4%만이 원본과 동등합니다. 컨트랙트 수준에서의 불일치는 예외가 아니라 일반적인 현상입니다: 7개 모델 중 6개 모델의 경우, 히스토리컬 리플레이 하에서 컴파일되는 생성된 컨트랙트의 13%에서 31%가 원본과 다르고, DCR 기반 리플레이 하에서는 13%에서 44%가 다릅니다. 오직 Gemma-4-31B만이 두 테스트 모두에서 3% 미만을 유지했습니다. 따라서 컴파일은 정확성의 필요조건일 뿐 충분조건과는 거리가 멉니다.