Dart AOT 바이너리의 신경 역컴파일을 위한 미세 조정 및 지표 평가

요약

본 논문은 Dart AOT 바이너리를 대상으로 한 신경 역컴파일(Neural decompilation)의 미세 조정 효과와 평가 지표의 유효성을 체계적으로 연구했습니다. 4B~8B 파라미터 모델을 사용해 다양한 변형들을 테스트한 결과, 어떤 미세 조정도 통계적으로 유의미한 성능 개선을 가져오지 못했으며, 오히려 기본 모델에 대한 미세 조정이 성능 저하를 초래하는 경향을 보였습니다. 또한, CodeBLEU와 compile@k는 개선되지만 pass@k는 정반대의 움직임을 보여 평가 지표의 발산 현상을 입증했습니다.

핵심 포인트

• Dart AOT 신경 역컴파일에 대한 미세 조정은 통계적으로 유의미한 성능 향상을 가져오지 못했다.
• 기본 모델(Qwen3-8B)을 미세 조정할 경우 오히려 매우 유의미한 성능 저하가 발생했다.
• CodeBLEU와 compile@k는 개선되나, pass@k 지표는 정반대의 움직임을 보여 평가 지표 발산 현상이 확인되었다.
• 어셈블리 시퀀스 길이와 태스크 난이도 간의 관계 및 200개 명령어에서의 능력 절벽 현상을 발견했다.