ByteDance-Seed/Stable-DiffCoder

🌐 홈페이지 | 🤗 Hugging Face | 📄 arXiv

저희는 강력한 코드 확산 대규모 언어 모델인 Stable-DiffCoder를 소개하게 되어 매우 기쁩니다. 이 모델은 Seed-Coder 아키텍처, 데이터 및 훈련 파이프라인을 기반으로 직접 구축되었으며, 맞춤형 워밍업과 블록별 클립된 노이즈 스케줄을 갖춘 블록 확산 지속 사전 학습(CPT) 단계를 도입했습니다.

동일한 아키텍처와 데이터 설정 하에, 저희는 안정적일 뿐만 아니라 모델의 성능 한계 자체를 끌어올릴 수 있는 효율적인 확산 훈련 파이프라인을 체계적으로 분석하고 설계했습니다. 이 방법론을 통해 Stable-DiffCoder는 광범위한 코드 벤치마크에서 자가회귀(AR) 방식의 대응 모델 대비 전반적인 성능 향상을 보여주었으며, 임의 순서 모델링은 편집 및 추론을 위한 구조화된 코드 처리를 개선하고, 확산 기반 손상(corruption) 학습은 리소스가 부족한 프로그래밍 언어에 대한 학습을 돕습니다.

특히 주목할 점은, CPT만 거친 후 지도 미세 조정(SFT)만을 통해서도 Stable-DiffCoder가 많은 강력한 ∼8B AR 및 확산 기반 코드 모델들을 능가한다는 것입니다. 이러한 결과는 엄격하게 통제된 데이터와 아키텍처 제약 조건 하에서도 확산 기반 훈련이 AR 훈련만으로는 달성할 수 있는 수준을 넘어 코드 모델링 품질을 향상시킬 수 있음을 입증합니다.

[2026/01/22] Stable-DiffCoder를 출시했습니다!

[2026/03/09] transformers v4.46.2에서 v5.3.0으로 적응 업데이트!

공정하고 통제된 비교: AR 기준 모델과 동일한 아키텍처, 데이터 및 훈련 파이프라인을 사용하여 확산 기반 훈련의 효과만을 분리했습니다.
블록 확산 CPT: 맞춤형 워밍업 전략과 블록별 클립 노이즈 스케줄을 갖추었습니다.
실행 가능한 훈련 통찰력: 훈련 역학에 대한 체계적인 분석을 제공하여 확산 기반 모델 훈련을 위한 실용적이고 효율적인 지침을 제시합니다.
최소 단계에서의 강력한 성능: CPT + SFT만을 사용하여 광범위한 ∼8B AR 및 확산 기반 명령어(instruction) 모델들과 경쟁할 수 있습니다.

저희는 세 가지 강력한 모델을 특징으로 하는 Stable-DiffCoder를 소개하게 되어 기대가 큽니다:

모든 모델은 Hugging Face 컬렉션에서 공개적으로 이용 가능합니다.

# pip install transformers==5.3.0
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
...

더 자세한 사용 지침 및 모델별 구성은 위에 연결된 Hugging Face 모델 페이지를 참조해 주십시오.

저희는 코드 생성(code generation), 코드 완성(code completion), 코드 편집(code editing), 코드 추론(code reasoning) 작업을 포함하여 광범위한 코딩 벤치마크에서 Stable-DiffCoder를 평가했습니다.

Stable-DiffCoder는 8B 규모의 오픈 소스 모델 중 최고 성능을 달성하며, 심지어 훨씬 큰 일부 모델을 능가합니다.

자세한 벤치마크 결과 및 분석은 저희 기술 보고서(Technical Report)를 참조해 주십시오.

Stable-DiffCoder가 연구 및 애플리케이션에 유용하다고 생각되시면, 별점 ⭐을 주시거나 다음 인용 형식을 사용하여 인용해 주십시오:

@misc{fan2026stablediffcoderpushingfrontiercode,
title={Stable-DiffCoder: Pushing the Frontier of Code Diffusion Large Language Model},
author={Chenghao Fan and Wen Heng and Bo Li and Sichen Liu and Yuxuan Song and Jing Su and Xiaoye Qu and Kai Shen and Wei Wei},
... 

질문이 있으시면 언제든지 📫 [email protected]으로 연락 주십시오.

본 프로젝트는 MIT 라이선스 하에 배포됩니다. 자세한 내용은 LICENSE 파일을 참조하십시오.

2023년에 설립된 ByteDance Seed Team은 업계에서 가장 진보된 AI 기반 모델(foundation models)을 제작하는 데 전념하고 있습니다. 이 팀은 세계적 수준의 연구팀이 되어 과학과 사회 발전에 크게 기여하는 것을 목표로 합니다.