MindForge: 소스 프리 프로그램 합성(Source-Free Program Synthesis)을 통한 소형 언어 모델(SLM)의
요약
MindForge는 소스 코드 없이 컴파일된 실행 파일과 문서만으로 학습 환경을 구축하는 자동화 파이프라인입니다. 이를 통해 고품질의 프로그램 합성 데이터를 생성하여 소형 언어 모델(SLM)을 미세 조정함으로써, 대규모 모델에 필적하는 소프트웨어 엔지니어링 성능을 달성했습니다.
핵심 포인트
- 소스 프리 환경을 통한 확장 가능한 학습 데이터 생성 파이프라인 구축
- GLM-5.2를 교사 에이전트로 활용한 고품질 프로그램 합성 궤적 큐레이션
- Qwen3.6-27B 미세 조정을 통해 ProgramBench 통과율을 49.51%로 향상
- SWE-bench 등 다양한 소프트웨어 엔지니어링 벤치마크에서 일관된 성능 개선
코딩 에이전트(Coding agents)는 버그 수정 및 기능 구현을 포함하여 기존 코드베이스를 수정하는 소프트웨어 엔지니어링(Software engineering) 작업에서 상당한 진전을 이루었습니다. 그러나 처음부터 완전한 프로그램을 구축하는 것은 여전히 주요한 과제로 남아 있습니다. ProgramBench에서 평가된 최첨단 모델(Frontier models)조차 전체 작업의 1% 미만을 완전히 해결합니다. 한 가지 장애물은 소프트웨어 개발의 단일 단계에만 집중하는 기존의 환경 구축 프레임워크로 인해, 소프트웨어 엔지니어링 생명 주기 전체를 아우르는 이러한 '처음부터 시작하는(from-scratch)' 설정에 대한 확장 가능한 학습 환경이 부족하다는 점입니다. 이러한 격차를 해소하기 위해, 우리는 오픈 소스 명령줄 프로그램(Command-line programs)을 컴파일된 참조 실행 파일과 문서만을 노출하는 소스 프리 환경(Source-free environments)으로 변환하는 자동화된 파이프라인인 MindForge를 소개합니다. MindForge를 사용하여, 우리는 ProgramBench와 중복되지 않는 저장소(Repositories)로부터 학습 환경을 구축하고, GLM-5.2를 교사 에이전트(Teacher agent)로 사용하는 프로그램 합성 궤적(Program synthesis trajectories)으로 구성된 고품질 데이터 레시피를 큐레이션합니다. 이러한 궤적을 바탕으로 Qwen3.6-27B를 미세 조정(Fine-tuning)한 결과, ProgramBench의 평균 테스트 통과율(Pass rate)이 37.98%에서 49.51%로 증가하여 훨씬 더 큰 규모의 최첨단 모델들과 대등한 성능을 달성했습니다. 또한, 미세 조정된 모델은 장기적 관점의 저장소 생성 및 변환, 버그 수정, 기능 구현, 교차 언어 이슈 해결을 아우르는 7가지의 미학습 소프트웨어 엔지니어링 벤치마크 전체에서 베이스 모델(Base model)보다 일관되게 향상된 성능을 보였으며, 절대적 이득은 RepoZero-C2Rust에서 31.00포인트, DeepSWE에서 14.16포인트, NL2Repo-Bench(테스트 포함/미포함)에서 10.70/4.56포인트, SWE-bench Verified에서 5.04포인트, SWE-bench Pro에서 5.93포인트, SWE-bench Multilingual에서 5.22포인트, 그리고 FeatBench에서 4.94포인트를 기록했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기