개방형 모델 엔지니어링이 새로운 성숙도 단계에 도달했습니다. StepFun 연구소는 장기간의 에이전트 오케스트레이션과 다단계 분석 문제 해결을 목표로 하는 가장 야심 찬 기반 모델인 Step 5 Preview의 개방형 가중치(open weights)를 공개했습니다. BF16, FP8 및 NVFP4 양자화로 배포된 Step 5는 기업용으로 사용되는 자체 호스팅 가능한 개방형 모델 사이에서 새로운 기준을 제시합니다.
총 6,000억 개의 매개변수와 토큰당 단지 270억 개의 활성 스파스(sparse)를 가진 Step 5 Preview는 명확하게 '좁고 깊은'(narrow but deep) 위상을 채택했습니다. 이는 슬라이딩 윈도우 어텐션과 게이트(Gated Sliding Window Attention - Gated SWA) 레이어, 그리고 키 그룹화가 적용된 전역 어텐션(Gated GQA) 레이어를 교차하는 92개 레이어로 구성되어 있습니다. 이 아키텍처는 VRAM의 과도한 증가 없이 최대 100만 토큰까지의 컨텍스트를 가능하게 하여, 도구 호출이 포함된 코딩 및 감사 부하에서 프리필(prefill) 비용을 극적으로 줄입니다.
Arquitetura StepFun Step 5 Preview
소식: 6,000억 규모 개방형 가중치의 돌파구
Hugging Face와 ModelScope에 가중치를 공개한 것은 기업과 연구 센터의 자율성을 제한하던 간극을 메웠습니다. 이전에 이러한 기관들은 폐쇄된 API(서비스 약관 변경, 예측 불가능한 지연 시간 및 제3자 데이터 주권에 종속됨)에 전적으로 의존하지 않고도 대규모 코드베이스에서 연결 추론 능력을 유지할 수 있는 개방형 모델이 부족했기 때문입니다.
역사적으로 수천억 개의 파라미터 규모의 희소 MoE(Mixture-of-Experts)는 라우팅 불균형(routing collapse)과 기울기 교환 중 노드 간 심각한 대역폭 병목 현상에 부딪혔습니다. StepFun 팀은 공식 기술 보고서에 상세히 설명된 자체 사전 훈련 파이프라인으로 이러한 장애물을 극복했습니다. 이 모델은 검증된 라우팅 지침과 장거리 트래젝토리(trajectory)에서의 강화 학습(Reinforcement Learning)을 통한 미세 조정 및 에이전트 군집(swarm of agents)에 의해 오케스트레이션된 합성 데이터로 구축되었습니다.
산업계에 미치는 실질적인 영향은 즉각적입니다. 약 340GB의 VRAM을 가진 NVFP4 체크포인트를 공개함으로써, 네 개의 Hopper 또는 Blackwell 가속기 클러스터는 초당 110 토큰 이상의 처리량으로 600B 모델을 호스팅할 수 있게 되었으며, 이를 통해 산업 기밀을 제3자 인프라로 전송하지 않고도 코드베이스의 지속적인 수집 및 리팩토링, 모노레포지토리 감사, 민감 데이터 모델링이 가능해졌습니다.
아키텍처 철학: 92개 레이어의 깊고 좁은 토폴로지
표현 능력의 용량을 더 많이 수용하기 위해 주로 은닉 차원(hidden dimension)을 확장하는 기존 모델들과 달리, Step 5 Preview는 레이어의 깊이에 베팅합니다. 복잡한 에이전트 워크로드에서 지배적인 병목 현상은 즉각적인 연관성 지식(associative knowledge)이 아니라, 여러 개의 연속적인 터미널 도구 호출 및 컴파일러의 부분 출력 검사(partial output inspection)를 거치면서 추론적 사슬 논리(multi-hop reasoning)를 유지하는 능력입니다.
92개 레이어 스택이 광범위한 컨텍스트에 부과하는 프리필(prefill) 비용을 해결하기 위해, StepFun은 어텐션 메커니즘 간의 3:1 인터리빙(interleaving) 방식을 채택했습니다:
-
슬라이딩 창 포트 기반 어텐션 (Gated SWA — 4개 중 3개 레이어): 100만 토큰 컨텍스트의 모든 쌍에 대한 완전한 교차 어텐션 계산 대신, Gated SWA는 사각형 계산을 고정 크기의 슬라이딩 호라이즌으로 제한하고, 여기에 선형 곱셈 포트를 보완합니다. 이 설계는 레이어의 75%에서 사각형 복잡도를 제거하여 즉각적인 컨텍스트를 보존하고 초안 모델(draft model)을 사용한 추측 디코딩을 용이하게 합니다.
-
그룹화된 글로벌 어텐션 (Gated GQA — 4개 중 1개 레이어): 슬라이딩 창의 세 레이어가 지날 때마다, Step 5는 키와 값의 그룹화를 가진 완전한 어텐션 레이어(Gated GQA)를 삽입합니다. 이 레이어는 전체 문서에 걸쳐 장거리 의존성을 연결하여, 수십 번의 대화 및 도구 호출 이후에도 컨텍스트 초기에 위치했던 정보가 접근 가능하도록 보장합니다.
희소 라우팅(sparse routing)은 토큰이 방출될 때마다 유용한 270억 개의 매개변수를 선택하는 분류기(classifier)를 통해 작동하며, 공유 전문가(범용 구문 표현)와 특정 전문가(추상적 추론)를 결합하여 적용 도메인 간의 노이즈 격리를 보장합니다.
메트릭 패널: 시장 최전선과의 직접 비교
Step 5 Preview가 국제 시장의 지배적인 모델들과 비교하여 실제 경쟁력을 측정하기 위해, 커뮤니티는 공개 가중치를 표준화된 환경에서 평가 배터리에 제출했습니다. 비교는 동시 주기의 주요 모델들인 DeepSeek 4.1 (DeepSeek AI), OpenAI GPT-6 Astra, Claude Fable 5.1 (Anthropic), 그리고 Gemini 3.8 Flash Cyber (Google DeepMind)와 엄격하게 이루어졌습니다.
측정은 코드 및 수학적 증명에 대해 결정론적 평가자(deterministic evaluators)를 사용하여 방법론적 평등성(isonomy) 체제에서 수행되었으며, 경로 유도 과정에 인간의 개입이 없었습니다.
Batalha de Benchmarks Step 5 Preview vs Fronteira
아래 매트릭스는 네 가지 주요 벤치마크(소프트웨어 엔지니어링, 순수 수학, 에이전트 추론, 다학제 과학 지식)에서 얻은 공식 점수를 종합합니다:
| 모델 | SWE-bench Verified | AIME 2026 | AgentBench | MMLU-Pro | 접근 방식 | :--- | :--- |
| StepFun Step 5 Preview | 78.2% | 94.1% | 87.6% | 84.5% | 오픈 가중치 (BF16 / FP8 / NVFP4) |
| ... | | | | | |
이 수치들은 업계에 중요한 전략적 시사점을 제공합니다:
-
소프트웨어 엔지니어링 분야의 독점 경계와 동등한 수준 (SWE-bench Verified 78.2%): Step 5 Preview는 GPT-6 Astra(78.1%)와 DeepSeek 4.1(77.8%)을 근소하게 능가하며, 92개 레이어의 좁은 설계가 대규모 리포지토리에서 근본 원인을 식별하는 데 견고함을 제공함을 확인시켜 줍니다.
-
심볼릭 수학 분야의 최고 정확도 (AIME 2026 94.1%): 이 모델은 증명에 필요한 논리적 순서를 강조한 에이전트 중심의 후속 교육 커리큘럼 덕분에 시장 최고의 솔루션과 비교할 수 있는 지수를 달성합니다.
-
장기 트래젝토리에서의 에이전트 견고성 (AgentBench 87.6%): Claude Fable 5.1(88.1%) 바로 뒤에 위치한 Step 5는 쉘 도구 호출 및 관계형 데이터베이스 조회에서 무한 루프에 대한 복원력을 보여줍니다.
-
자가 호스팅의 구조적 이점: 폐쇄형 API와 달리, Step 5 Preview는 토큰당 라이선스 비용의 한계가 없어 이러한 지수를 제공하며, 오직 조직 자체의 하드웨어 인프라에만 의존합니다.
에이전트 데이터 및 장기 트래젝토리 강화
성능 장벽을 가진 6,000억 개 매개변수 모델에서 돌파하기 위해서는 단순한 지도 미세 조정(Supervised Fine-Tuning)을 넘어설 필요가 있었습니다. StepFun은 Step 5 Preview의 기술 보고서에서 세 부분으로 구성된 데이터 및 강화 정렬 파이프라인을 상세히 설명합니다:
Pipeline de Treinamento Agente-Nativo StepFun
1. 조정된 에이전트 데이터 구축 (Construção de dados agênticos coordenados)
StepFun은 복잡한 문제의 프롬프트와 응답을 작성하는 데 전적으로 인간에게 의존하는 대신, 다양한 에이전트가 가설 수립자(formulador de hipóteses), 샌드박스 코드 실행기(executor de código em sandbox), 품질 검토자(crítico de qualidade) 역할을 맡는 다중 에이전트 추론 생성 파이프라인을 구현했습니다. 인간 전문가들이 정의한 엄격한 지침 하에, 이 에이전트들은 수십만 개의 실제 엔지니어링 시나리오를 시뮬레이션하여, 높은 엔트로피를 가지며 벤치마크 오염으로부터 자유로운 데이터를 생성했습니다.
2. 사전 학습과 추론 간의 불일치 완화 (Mitigação do descompasso entre pré-treinamento e inferência)
에이전트 훈련에서 만성적인 문제는 모델이 다음 토큰 예측의 이산적인 단계(teacher forcing)로 훈련되지만, 실제 운영 환경에서는 부분적인 오류가 누적되는 수십 턴(turn)의 롤아웃(rollouts)을 유지해야 한다는 것입니다. Step 5 Preview는 전체 트랙(trajectory) 훈련 체제에 노출되었으며, 이를 통해 컴파일러의 오류 메시지나 API의 빈 응답을 인식하고 적응적인 자체 수정 전략을 개발하는 방법을 학습했습니다.
3. 시간적 크레딧 할당 (Atribuição temporal de crédito (credit assignment))
장거리 트래젝토리(trajectory)에서의 강화학습 (RL) 중, 최종 이진 점수(성공 또는 실패)만을 보상으로 제공하면 수백 단계에 걸쳐 기울기(gradient)가 희석됩니다. StepFun은 에이전트가 올바른 가설을 세우거나 잘못된 경로를 배제한 의사결정 트리(decision tree)의 노드에 중간 보상을 할당하는 분해 메커니즘을 도입하여, 기울기의 수렴이 체계적인 추론을 강화하고 무작위적인 시행착오적 휴리스틱(heuristic)을 강화하지 않도록 합니다.
이기종 클러스터에서의 병렬 처리 및 라우팅 효율성
92개 레이어에 분할된 6,000억 개의 매개변수를 가진 희소 MoE (Mixture of Experts) 훈련은 독특한 4D 병렬 처리 솔루션을 요구했습니다. 아시아 연구실들이 직면했던 균일한 Hopper 및 Blackwell 가속기 공급 제약 조건으로 인해, 이 클러스터는 커스텀 집합 통신 라이브러리인 StepComm을 통해 파이프라인 병렬 처리(PP=16), 텐서 병렬 처리(TP=8), 전문가 병렬 처리(EP=32)를 결합했습니다.
전문가 간의 All-to-All 교환이 광학 메시(optical mesh)의 대역폭을 압도하는 것을 방지하기 위해, StepFun은 토폴로지 친화성 기반 예측 라우팅을 구현했습니다. 의미론적으로 가까운 키 벡터를 가진 전문가들은 동일한 NVLink 노드에 할당되었고, 이는 인-섀시 간 InfiniBand 패브릭을 통한 전송량을 전체 활성화 볼륨의 18% 미만으로 제한했습니다. 이러한 최적화는 90일간의 중단 없는 훈련 기간 동안 48.2%의 지속적인 실리콘 활용률(MFU — Model Flops Utilization)을 보장했습니다.
사례 연구: Verilog에서의 집적 회로 합성 및 EDA 자동화
Python이나 Rust 같은 전통적인 언어의 소프트웨어 엔지니어링 외에도, Step 5 Preview는 전자 설계 자동화(EDA — Electronic Design Automation) 분야에서 이례적인 적성을 보여주었습니다. 마이크로일렉트로닉스 연구소와 협력하여 수행된 경험적 평가에서, 해당 모델은 암호화 가속기 및 PCIe 6.0 버스 컨트롤러를 위한 기능적 설명을 Verilog로 설계하는 임무를 맡았습니다.
이러한 시나리오에서는 깊이가 92층이라는 점이 결정적이었습니다: 하드웨어 추론 작업은 클럭 타이밍의 방향성 비순환 그래프(DAGs — Directed Acyclic Graphs)에 대한 엄격한 추적과 레이스 조건(race conditions) 방지를 요구합니다. 깊이가 낮은 모델들이 합성 과정의 42%에서 setup 및 hold 위반을 포함하는 코드를 생성한 반면, Step 5 Preview는 오픈 소스 도구 Yosys에서 88.7%의 클린 컴파일에 성공하여, RTL의 형식 검증에 필요한 인력 시간을 64% 절감했습니다.
다음 매트릭스는 마이크로일렉트로닉스 영역에서 측정된 지표들을 통합합니다:
| 하드웨어 합성 지표 | 기존 밀집 모델 (Dense Models) | StepFun Step 5 Preview | 개선율 |
|---|
| Verilog 성공률 (RTL Linting) | 54.3% | 88.7% | +34.4 p.p. |
| ... | | | |
실질적 구현: vLLM과 MCP 2.0 프로토콜을 사용한 비동기 클라이언트
