Beam: Reflection의 501B 오픈 웨이트 모델 소개

Reflection이 최초로 선보이는 오픈 웨이트 모델인 Beam을 소개합니다. Beam은 코딩, 추론(reasoning), 에이전트 워크로드에 최적화된 희소 혼합 전문가(sparse Mixture-of-Experts) 구조를 가진 5,010억 개의 총 파라미터와 230억 개의 활성 파라미터를 갖춘 모델입니다.

Beam의 역량은 사전 학습(pretraining)과 강화학습(reinforcement learning, RL) 모두에 대한 대규모 투자를 통해 확보되었습니다. 저희는 웹 및 독점 라이선스 데이터셋에서 선별된 23조 8천억 개의 다양한 고품질 토큰으로 모델을 사전 학습시켰으며, 이는 동급 규모의 다른 오픈 기반 모델과 견주어도 손색이 없거나 능가하는 수준입니다. 동시에, 저희는 최고 수준의 컴퓨팅 파워를 요구하는 RL을 유지하기 위해 필요한 알고리즘, 훈련 환경 및 인프라를 개발했습니다. 이 고성능 컴퓨팅 RL 실행을 통해 4주간의 훈련 기간 동안 10.5K NVIDIA GB300 GPU에서 1억 개 이상의 롤아웃(rollouts)을 생성했습니다.

이러한 노력들이 결합되어 최고 수준의 추론 컴퓨팅 효율성을 갖춘 경쟁력 있는 오픈 웨이트 성능을 구현해냈습니다.

Beam은 현재 최종 레드팀 테스트 및 평가를 거치고 있습니다. 모델에 대한 조기 액세스는 여기서 신청할 수 있습니다. 저희는 이달 말에 가중치(weights), 기술 보고서(technical report), 모델 카드(model card) 및 개발자 아티팩트를 공개할 예정입니다.

모델 역량

저희는 코딩과 에이전트 성능에 특별히 초점을 맞춰 Beam을 훈련시켰습니다. Beam은 서방의 오픈 웨이트 최전선을 발전시키며, GLM 5.2와 같은 대형 오픈 모델들과 경쟁할 수 있으며, 코딩 및 에이전트 작업에서는 Qwen 3.8-Max에 근접합니다. Kimi K3와 같은 최신 오픈 모델들이 순수 능력(raw capability) 면에서 여전히 앞서고 있는 반면, Beam의 강점은 추론 시의 효율성입니다.

아래 그림은 다양한 코딩, 에이전트, 추론 및 STEM 벤치마크 전반에 걸친 Beam의 성능을 보여줍니다. NR은 보고되지 않은 점수를 의미합니다.

Beam은 코딩 능력과 에이전트 능력을 매우 효율적인 추론 능력과 결합했습니다. 고급 추론 벤치마크에서는 GLM-5.2와 비교할 만한 점수를 달성하면서도, 필요한 추론 컴퓨팅을 3~4배 적게 사용합니다. 이러한 효율성 증가는 Qwen 3.8-Max와 같이 1조 파라미터 이상 규모의 모델과 비교했을 때 더욱 두드러지는데, 후자는 토큰당 훨씬 더 많은 추론 컴퓨팅을 요구하기 때문입니다.

이러한 결과는 토큰당 더 높은 지능을 의미하며, 낮은 비용으로 강력한 모델 성능을 제공하여 Beam을 엔터프라이즈 코딩 및 에이전트 워크로드에 적합한 강력한 작업용(workhorse) 모델로 만듭니다.

고성능 컴퓨팅 강화학습 (High-Compute Reinforcement Learning)

저희는 고성능 컴퓨팅 강화학습을 Beam의 핵심 확장 축으로 삼았으며, RL 과학, 데이터, 인프라에 투자하여 더 많은 컴퓨팅 파워를 더 강력한 기능으로 전환했습니다. RL을 확장함으로써 문제 해결 전략에 대한 광범위한 탐색이 가능해지며, 긴 롤아웃(rollouts)은 다단계 추론, 도구 사용 및 환경 피드백 적응을 지원합니다.

강화학습을 확장하기 위해 저희는 NVIDIA GB300 GPU 10.5K개를 4주 동안 배치하여 최대 컨텍스트 길이 256K 토큰으로 1억 개 이상의 롤아웃을 생성했습니다. 학습 및 평가에는 약 13억 개의 샌드박스가 사용되었습니다. 이 정도 규모의 운영을 유지하기 위해 저희는 백만 개의 고품질 코딩, 에이전트, STEM 환경을 확보했습니다. 저희는 이것이 현재까지 어떤 오픈 연구소에서도 수행된 가장 큰 규모의 RL 실행 중 하나라고 믿습니다. 평가 스위트 전반에 걸쳐 RL 컴퓨팅을 늘릴수록 기능이 계속 개선되었으며, 정체되는 징후가 없었습니다.

저희는 비동기 정책 경사(asynchronous policy gradients)를 사용하여 Beam을 학습시켰습니다. 대규모에서 정책의 구식화(policy staleness)는 이러한 방법들의 주요 불안정성 원인이 됩니다. 긴 실행 과정에는 여러 모델 체크포인트에 의해 생성된 토큰들이 포함되며, 초기 토큰들은 현재 정책에 비해 점점 더 구식이 됩니다. 또한, 학습 엔진과 추론 엔진 간의 수치적 불일치(numerical mismatch)가 이러한 문제를 더욱 복잡하게 만듭니다.

저희는 파이프라인 전반에 걸쳐 훈련-추론 불일치를 체계적으로 줄이는 동시에 이러한 조건에서 안정적인 학습을 유지하기 위해 새로운 알고리즘을 개발했습니다. 이러한 발전은 하루보다 더 이전에 생성된 상호작용으로부터 학습할 때에도 안정성을 유지하는, 대규모의 완전 비동기 RL을 가능하게 합니다.

효율적으로 추론하는 법 학습하기

Beam은 성공적인 해결책에 보상을 제공하고 불필요한 토큰을 억제하는 제어 가능한 길이 페널티(controllable length penalty)를 적용하여 학습되었습니다. 초기 강화학습(RL) 단계에서는 완성 길이가 줄어들었음에도 성능이 향상되었는데, 이는 모델이 더 적은 추론으로 작업을 더 효과적으로 해결하도록 배웠기 때문입니다. 이후 Beam이 더 강력한 에이전트적 역량(agentic capabilities)을 개발하면서 완성 길이는 다시 늘어났지만, 이 추가 토큰들은 성능의 추가적인 향상을 뒷받침했습니다. 훈련 전반에 걸쳐 RL은 역량과 토큰 사용 간의 상충 관계를 개선했습니다.

사용자는 Beam의 추론 노력 매개변수(reasoning effort parameter)를 통해 이러한 상충 관계를 제어할 수 있습니다. 낮은 설정값은 더 짧은 응답을 선호하는 반면, 높은 설정값은 까다로운 작업에서 성능을 향상시키기 위해 더 긴 추론을 허용합니다. 이를 통해 사용자는 자신의 작업과 컴퓨팅 예산에 맞춰 추론 노력을 조절할 수 있는 유연성을 얻습니다.

RL을 통한 행동의 일반화 방식

우리는 Beam의 RL 훈련을 설계하여, 모델이 학습된 작업을 넘어선 추론 및 에이전트적 역량을 개발하도록 했습니다. 추론, 소프트웨어 엔지니어링, 터미널 작업에 대한 훈련 단계 동안, RL 혼합물(RL mixture)에서 브라우징 작업이 없었음에도 불구하고 탐색(browsing)에서 일관된 향상을 보았습니다. 이러한 전이는 Beam이 도메인 전반에 걸쳐 일반화되는 더 넓은 에이전트적 역량을 학습했음을 시사합니다. 웹 접근 권한을 부여받자, 모델은 유기적으로 다른 대규모 언어 모델(LLM)을 검색하고 쿼리하며, 문서를 읽기 위해 OCR API를 사용하는 방법을 배웠습니다.

아래 데모들은 연구, 애플리케이션 개발, 게임 플레이, 머신러닝 워크플로우 전반에 걸쳐 Beam이 이러한 역량을 적용하는 것을 보여줍니다. 예시들은 공개 데이터를 사용하여 실시간 뉴욕 지하철 대시보드를 구축하는 것부터 인터랙티브한 애플리케이션을 생성하고 모델 미세 조정(model fine-tuning) 노트북을 준비하는 것까지 다양합니다. 비록 Beam은 텍스트 전용이지만, 다른 양식(modality)의 정보가 텍스트로 표현될 경우 이를 처리할 수 있습니다. 또 다른 분포를 벗어난 도메인에서는, Beam이 Text2SQL 작업에 대해 최신이자 가장 작은 Gemma-4 모델을 위한 미세 조정 노트북도 생성했습니다.

이러한 데모들은 Beam이 추론(reasoning), 코딩, 도구 사용을 결합하여 처리할 수 있는 작업의 폭넓은 범위를 보여줍니다. 각 예시는 초기 요청과 결과 출력, 그리고 관련 설정 및 사용자 반복 과정을 포함합니다.

강화학습 환경 확장 (Scaling reinforcement learning environments)

프론티어 규모의 강화학습(RL)은 방대하고 어려운 고품질 작업이 필요합니다. 저희는 주로 합성 데이터 파이프라인을 통해, 독점 공급업체 데이터와 오픈 소스 자료로 보완하여 거의 백만 개의 환경 풀을 구축했습니다.

저희는 반복적인 큐레이션 프로세스에 크게 의존했습니다. 첫째, 소프트웨어 엔지니어링, 터미널 사용, 경쟁 코딩, STEM(과학/기술/공학/수학), 웹 검색, 도구 사용, 일반 지식 작업 등 광범위한 영역에 걸쳐 환경을 합성하거나 확보했습니다. 둘째, 난이도(모델에게 일관되게 풀릴 수도 없고 불가능할 수도 없는지 확인)와 품질(예: 명세가 부족하지 않고, 오해를 유발하지 않으며, 추측 가능하거나, 해킹 가능하거나, 또는 기타 손상되거나 노이즈가 없는지)을 기준으로 작업을 엄격하게 필터링했습니다. 셋째, RL을 통해 작업들을 테스트하여 추가적인 품질이나 난이도 문제를 파악하고 다음 번 자료 확보 및 필터링 반복에 반영할 수 있었습니다.

Beam의 개발 전반에 걸쳐 저희는 데이터 품질의 타협이 능력 정체(capability plateaus)와 기타 훈련 문제로 이어지는 것을 발견했습니다. 작업 품질에 대한 체계적인 개선은 지속적으로 능력 향상을 유지하는 데 필수적이었으며, 이는 포화 징후가 전혀 없는 상태로 끝났습니다.

프론티어 RL 인프라 (Frontier RL infrastructure)

고성능 에이전트 기반 강화학습(agentic RL)은 롤아웃 생성, 도구 실행, 결과 평가, 모델 업데이트를 대규모로 수행해야 합니다. 저희는 이러한 프로세스들이 독립적으로 실행되면서 경험과 모델 업데이트의 흐름을 조정할 수 있는 비동기 플랫폼을 구축했습니다.

Beam 훈련 기간 동안, 저희는 평균 110K개의 동시 롤아웃(concurrent rollouts)을 유지했습니다. 이 실현 가능성을 만든 것은 일곱 가지 능력입니다:

완전 비동기 실행: 에이전트가 롤아웃(rollouts)을 생성하는 동안 트레이너는 학습하고 새로운 모델 버전을 게시합니다. 각 토큰에는 해당 토큰을 생성한 버전 태그가 지정되어, 완료된 롤아웃이 트레이닝으로 유입될 때 정책의 구식화(policy staleness)를 추정 알고리즘이 고려할 수 있게 합니다.

유연한 컴퓨팅 할당: 워크로드가 진화함에 따라 추론과 학습 간의 균형을 조정하여, 3.9:1에서 5.4:1 사이의 추론 대 학습 GPU 비율로 운영했습니다. 또한 동일한 트레이닝 계보(training lineage) 내에서 트레이너를 다섯 개의 GPU 메시 구성에 걸쳐 크기 조정할 수 있었으며, 이 과정에서 학습 상태를 잃지 않았습니다.

빠른 모델 업데이트: 새로운 가중치(weights)는 중앙값 약 12초 만에 추론 플릿(inference fleet)에 도달했습니다. 계층적 분산 전송은 RoCE를 통해 랙(rack) 간에 가중치를 전달한 다음, NVLink를 통해 로컬에서 공유합니다. 모든 복제본이 직접 가중치를 가져오는 것과 비교하여, 이는 랙 간 트래픽을 75% 줄였고 새로운 가중치의 플릿 전체 채택 속도를 2.2배 빠르게 만들었습니다.

추론 실패에 대한 탄력성: 실행 기간 동안 71건의 추론 사고가 발생했지만 학습 작업을 종료하지 않았습니다. 추론 용량은 중앙값 약 8분 만에 복구되었으며, 손실된 용량은 경과된 서비스 GPU-분(elapsed serving GPU-minutes)의 단지 0.02%를 차지했습니다.

대규모 환경: 실행 기간 동안 최대 17만 개의 동시 샌드박스(sandboxes)를 지원했습니다. 플랫폼 전반에 걸쳐 20개 이상의 클러스터, 두 개 클라우드, 네 개 리전에 걸쳐 10억 개가 넘는 샌드박스 생성 요청을 처리했습니다. 새로운 샌드박스의 90%는 10초 이내에 준비되었습니다.

효율적인 트레이너 패킹: 동적 패킹(Dynamic packing)은 평균적으로 학습 배치(training batches)를 99.99% 가득 채워, 평균 롤아웃 길이가 거의 70% 증가했음에도 불구하고 GPU당 트레이너 처리량(trainer throughput)을 1.5% 이내로 유지했습니다.

관측 가능성 및 보상 무결성: 토큰별 기록은 모든 단계에서 학습과 추론 간의 수치적 일관성 검사(numerical consistency checks)를 가능하게 했습니다. 독립적인 심판들은 검증기 악용(verifier exploits)에 대한 통과 솔루션을 재검토했으며, 재생 가능한 기록(replayable records)은 보상 및 그 사용을 학습에서 검사할 수 있게 했습니다.

이러한 기능들을 통해 우리는 처리량(throughput)을 유지하면서 더 긴 상호작용과 더 까다로운 환경에서 학습할 수 있게 되었고, 실패로부터 복구하며, 학습 과정의 무결성을 확인할 수 있었습니다.

추론을 위한 기반 사전 학습 (Pretraining a Foundation for Reasoning)

강화학습(RL)은 견고한 기본 모델 위에 구축됩니다. 추론을 용이하게 하기 위해 우리는 Beam의 기반이 코딩 도메인에 대한 풍부한 지식, 증폭될 수 있는 타고난 에이전트적 기능(agentic capabilities), 그리고 안정적인 MoE 최적화 역학(MoE optimization dynamics)을 갖추도록 보장했습니다.

Beam을 개발하는 동안, 우리는 스케일링 레시피를 확립하고 검증하기 위해 반복적으로 더 큰 일련의 모델들을 사전 학습했습니다. 이들의 성능을 예측 가능하게 만들기 위해서는 모델 계층을 신중하게 설계하고, 다양하고 자체적인 코드 및 웹 검증 세트를 큐레이션하며, 모든 훈련 데이터를 이러한 기준에 맞춰 적극적으로 오염 제거(decontaminating)해야 했습니다. 스케일링은 유지되었고; 최종 Beam Base는 예측된 성능과 일치하며, 접근 가능한 유사 크기의 오픈 소스 기반 모델들과 같거나 능가합니다.

안정적이고 균형 잡힌 MoE 최적화 (Stable and balanced MoE optimization)

Beam 아키텍처와 최적화 레시피는 지속적인 다운스트림 RL을 위한 수치적으로 건강한 기반에 중점을 둡니다. 이는 교차된 로컬 및 글로벌 어텐션(interleaved local and global attention), 세밀하게 라우팅되는 전문가들(fine-grained routed experts), 제어된 잔여 스트림(controlled residual stream), 그리고 여러 형태의 부하 균형(load balancing)을 결합하여 안정적이고 균형 잡힌 전문가 활용과 잔여분(residuals)을 통한 건강한 신호 전파를 보장합니다.

전문가 활용에 관해서는, 우리는 보조 손실이 없는 부하 균형(auxiliary-loss-free load balancing) (DeepSeek-AI et al., 2024)을 기반으로 구축하고, 학습 후반부의 라우팅 교란을 줄이기 위해 전문가 편향 업데이트에 코사인 감쇠(cosine decay)를 도입했습니다. 시퀀스 수준 균형화는 사전 학습 분포 외부의 데이터에서도 균형 잡힌 전문가 활용을 더욱 장려하여, 모델이 다운스트림 RL의 변화하는 분포에 대비할 수 있도록 합니다. 그 결과, 최종 사전 학습된 기반 모델은 거의 완벽한 균일한 활용도를 가지며, 모든 전문가가 학습된 추론에 사용될 수 있도록 보장합니다.

잔차 스트림(residual stream)의 경우, 우리는 서브레이어 출력(sublayer outputs)이 누적됨에 따라 활성화 증가를 상쇄하는 깊이 기반 스케일링 접근 방식(depth-based scaling approach)을 개발했습니다. 이는 모델 깊이가 증가함에도 잔차 노름(residual norms)이 안정적으로 유지되도록 돕습니다. SandwichNorm, 요소별 어텐션 게이팅(elementwise attention gating), 그리고 스트림에 작은 업데이트를 더할 때 반올림 오류를 줄여주는 FP32 잔차 누적(FP32 residual accumulation)을 결합한 이 조합은 활성화 증가와 이상치(outliers)를 제어하며, 이를 통해 Beam의 모든 레이어를 통틀어 건강한 신호 전파를 보장합니다. 이러한 안정성은 사전 학습(pretraining), 강화학습(reinforcement learning), 그리고 정렬(alignment) 과정 전체에 걸쳐 지속됩니다.

품질 중심 데이터 큐레이션 (Quality-centric data curation)