Dart AOT 바이너리의 신경 역컴파일을 위한 미세 조정 및 지표 평가
요약
본 논문은 Dart AOT 바이너리를 대상으로 한 신경 역컴파일(Neural decompilation)의 미세 조정 효과와 평가 지표의 유효성을 체계적으로 연구했습니다. 4B~8B 파라미터 모델을 사용해 다양한 변형들을 테스트한 결과, 어떤 미세 조정도 통계적으로 유의미한 성능 개선을 가져오지 못했으며, 오히려 기본 모델에 대한 미세 조정이 성능 저하를 초래하는 경향을 보였습니다. 또한, CodeBLEU와 compile@k는 개선되지만 pass@k는 정반대의 움직임을 보여 평가 지표의 발산 현상을 입증했습니다.
핵심 포인트
- Dart AOT 신경 역컴파일에 대한 미세 조정은 통계적으로 유의미한 성능 향상을 가져오지 못했다.
- 기본 모델(Qwen3-8B)을 미세 조정할 경우 오히려 매우 유의미한 성능 저하가 발생했다.
- CodeBLEU와 compile@k는 개선되나, pass@k 지표는 정반대의 움직임을 보여 평가 지표 발산 현상이 확인되었다.
- 어셈블리 시퀀스 길이와 태스크 난이도 간의 관계 및 200개 명령어에서의 능력 절벽 현상을 발견했다.
신경 역컴파일(Neural decompilation)은 코드 생성 문제로 점점 더 많이 연구되고 있지만, 현대 언어에 대한 그 평가 방법론은 여전히 미흡합니다. 본 논문에서는 Dart Ahead-of-Time (AOT) 신경 역컴파일을 위한 미세 조정 효과 및 지표 유효성에 대한 체계적인 실증 연구를 제시합니다. 우리는 세 가지 기본 아키텍처(4B-8B 파라미터)에 걸쳐 여섯 가지 미세 조정된 모델 변형들을 사용하고, 새로운 154개 태스크 HumanEval-Dart 벤치마크에서 CodeBLEU, compile@k, pass@k 세 가지 지표를 사용하여 평가합니다. 본 연구는 쌍을 이루는 태스크 수준의 통계적 테스트에 근거하여 세 가지 주요 결과를 도출합니다. 첫째, 어떤 미세 조정 구성도 통계적으로 유의미한 pass@k 개선을 가져오지 못했습니다. 유일하게 긍정적인 사례는 +0.71 pp (McNemar p=0.21)를 보였으나, 가장 강력한 기본 모델(Qwen3-8B)을 미세 조정하는 것은 -5.65 pp (p<0.001)라는 매우 유의미한 퇴행을 야기했습니다. 이러한 능력 의존적 추세는 아키텍처 전반에 걸쳐 일관되지만, 더 광범위한 규모 스윕이 필요합니다. 둘째, Swift 학습으로부터의 교차 언어 간섭은 4B에서 매우 유의미하게 나타났으나 (-2.66 pp, p<0.001), 8B에서는 통계적으로 0과 구별할 수 없었으며, 이는 스케일링 가설(scaling hypothesis)과 일치합니다. 셋째, 우리는 지표 발산(metric divergence)을 입증했습니다: CodeBLEU와 compile@k는 유의미하게 개선될 수 있는 반면 pass@k는 정반대의 방향으로 움직입니다. 이는 미세 조정이 피상적인 유사성을 목표로 하는 모든 LLM 코드 생성 작업에 시사하는 바가 있습니다. 오류 분석 결과, 어셈블리 시퀀스 길이가 태스크 난이도의 가장 강력한 예측 변수임이 밝혀졌으며 (p=0.001), 200개의 명령어에서 능력의 절벽(capability cliff) 현상이 나타났습니다. 우리는 Dart에 맞게 조정된 CodeBLEU인 HumanEval-Dart 벤치마크, 그리고 신경 역컴파일을 위한 주요 평가 지표는 pass@k여야 한다는 실증적 증거를 기여합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기