Ripple-65B Preview 소개,
프론티어 오픈 웨이트 모델
Ricursive Intelligence는 하드웨어, 소프트웨어, 모델을 공동 최적화하여 자체 개선 시스템을 구축하는 풀스택 인공지능 연구소입니다.
당사는 칩 설계 플랫폼에 전력을 공급하기 위해 처음부터 언어 모델을 학습시켰으며, 이는 에이전트 코딩(agentic coding) 분야에서 새로운 미국 오픈 웨이트 SOTA를 기록했습니다. 우리는 자체 트레이닝 및 서비스 플랫폼에 맞춰 모델 아키텍처를 최적화하여 상당한 효율성 향상을 이끌었습니다.
오늘, 당사는 AI 칩 설계 플랫폼의 동력이 되는 독점 모델의 범용 변형인 Ripple-65B Preview를 공개합니다. 이 모델은 최대 1M 컨텍스트 길이(context length)를 지원하며 12조 토큰으로 사전 학습되었습니다. Ripple-65B Preview는 에이전트 코딩 분야에서 강력한 결과를 보여주었으며, TerminalBench 2.1에서 미국 오픈 웨이트 최고 성능(80.52)을 달성하여 Reflection Beam 501B (80.1), Meta Muse Spark Open 816B (76.4), Thinking Machines Inkling 975B (63.8), NVIDIA Nemotron 3 Ultra 550B (56.4) 등 훨씬 더 큰 규모의 미국 오픈 웨이트 모델들을 크게 능가했습니다.
Ripple의 밀집(dense) 모델 아키텍처는 낮은 지연 시간 토큰 생성과 함께 강력한 추론 성능을 제공합니다. 또한, 이 모델은 파라미터 범위가 작아 데이터센터 가속기 대비 메모리 대역폭이 낮지만 높은 컴퓨팅 FLOPs를 특징으로 하는 NVIDIA DGX Spark와 같은 로컬 장치에서도 효율적으로 실행될 수 있습니다.
Ripple-65B Preview는 Hugging Face, Together AI, GMI Cloud, OpenRouter에서 이용 가능합니다. Fireworks는 오늘 늦게 공개됩니다.
비용의 1/10로 미국 오픈 웨이트 프론티어 달성
LLM 사전 학습은 전설적으로 비쌉니다. 2023년 OpenAI CEO Sam Altman은 GPT-4 학습 비용이 1억 달러를 초과했다고 말했습니다. 다음 해에 Dario Amodei는 프론티어 AI 모델을 학습시키는 데 최대 10억 달러가 들 수 있으며, 사전 학습만으로도 2026년에서 2027년까지 비용이 100억~1000억 달러로 상승할 것으로 예측했습니다.
반면, 우리는 단지 $32M의 비용으로 Ripple-65B Preview를 개발하고 훈련시켰으며, 이는 에이전트 코딩 분야에서 이전 오픈 웨이트 최고 성능(SOTA) 대비 1/10 수준입니다.¹ 참고로 이 $32M은 사전 학습 사다리 개발, 데이터 혼합, 평가(evals), 디버깅, 합성 데이터 생성, 후속 훈련 레시피 개발, 그리고 최종 히어로 사전 학습 및 후속 훈련 실행을 포함한 우리의 전체 연구 개발(R&D) 비용입니다.
가파른 상승 강화학습 (Steep Ascent Reinforcement Learning)
무작정 힘으로 밀어붙이는 강화학습(RL) 방식에 투자하기보다는, 우리는 컴퓨팅 효율성에 초점을 맞춰 SFT 및 RL 레시피를 신중하게 반복 개선했습니다. 우리는 후속 훈련 데이터를 구매하는 대신 자체적인 합성 데이터 파이프라인, 품질 필터링, 그리고 커버리지 지표를 고안했습니다.
우리의 혼합 RL 레시피는 절단 중요도 샘플링(truncated importance sampling), 점수 중심화(score centering), 그리고 선형 길이 페널티(linear length penalty)를 사용하며, 높은 품질의 장기 호라이즌 합성 환경을 활용합니다. RL 작업은 우리 모델의 역량에 맞춰 조정되었으며, 모델이 개선됨에 따라 지속적으로 더 어려운 작업을 추가했습니다.
그 결과는 강력한 초기 SFT 체크포인트에서 시작된 가파른 RL 상승 곡선이었습니다. 우리는 단 1.4M의 롤아웃만으로 TerminalBench 2.1 점수 80.5를 달성했는데, 이는 이전 최고 성능(SOTA)이었던 Reflection Beam보다 약 70배 적은 롤아웃 수입니다.
공동 설계된 모델 아키텍처 (A Co-Designed Model Architecture)
Ripple-65B Preview의 아키텍처는 NVIDIA 하드웨어에서 효율적으로 훈련되고 서비스되도록 설계되었습니다. 핵심 목표 중 하나는 강력한 추론 및 에이전트 성능을 유지하면서도 사전 학습 및 후속 훈련 인프라 복잡성을 줄이는 설계 결정을 내리는 것이었습니다. 따라서 우리는 다른 연구실들이 사용하는 전문가 혼합 모델(MoE) 대신, 현대화된 밀집 트랜스포머 모델(dense Transformer model)을 훈련하기로 선택했습니다. 이 결정은 빠르게 효과를 발휘하여, 간단한 샤딩, 사용자 지정 커널 없음, 양자화 없이도 사전 학습과 후속 훈련 전반에 걸쳐 견고한 최대 활용률(MFU) 40%를 유지하면서 처음부터 강력한 모델을 훈련할 수 있었습니다.
Ripple-65B Preview는 얇고 깊은(thin-and-deep) 모델 비율을 사용하며, 좁은 d_model (5120)과 총 80개의 레이어를 가집니다. 추론 성능을 개선하기 위해 어텐션 헤드(attention heads)의 수를 과다하게 할당하고, 비용 증가를 상쇄하기 위해 SWA-to-global 레이어 비율을 늘리고 SWA 창 크기(window size)를 줄였습니다. 또한 FFN 활성화 클리핑(FFN activation clipping), 게이티드 어텐션(gated attention), 글로벌 NoPE, 그리고 값 잔차(value residuals)를 추가했습니다.
신중한 모델 계단식(Model Laddering) 실험을 통한 대규모 개선
우리는 일련의 신중한 모델 계단식 실험을 통해 Ripple의 사전 학습 레시피를 최적화했습니다.
우리의 시작점은 Olmo 3의 모델 계단식이었으며, 여기서 코딩 역량 개선에 초점을 맞춰 소규모 개입 실험을 수행했습니다. v1.0 계단식에서는 StepFun 배치 크기 및 학습률 스케일링 법칙(scaling laws)을 구현했고, v1.1에서는 아키텍처 차원과 모델 깊이를 부드럽게 확장하는 새로운 계단식을 적용했습니다. v1.2 계단식은 post-norm 기준에서 pre+post norm으로 전환했는데, 이는 소규모에서는 중립적이었으나 4B부터 개선을 보였습니다. v1.3 계단식은 시그모이드 게이티드 어텐션(sigmoid gated attention)을 구현했습니다. v1.4 계단식 (2-stream mHC)은 더 작은 규모에서 좋은 결과를 보였지만 4B 규모에서는 개선되지 않아 기각되었습니다. v1.5 계단식은 글로벌 NoPE로 전환하고 최종 LR 냉각(cooldown)을 0으로 추가했으며, v1.6 계단식은 값 잔차를 추가했습니다. 최종 버전에서는 상당히 업샘플링된 코드가 포함된 자체 사전 학습 데이터셋으로 전환했습니다.
종합적으로, 이러한 복합적인 변경 사항들은 dolma_stack CE로 측정된 코드의 컴퓨팅 효율성을 4B 모델 규모에서 최대 16배까지 향상시켰습니다. 즉, 최종 Ripple 모델 계단식은 Olmo 3 계단식과 유사한 코드 성능을 16배 적은 컴퓨팅 자원으로 달성하는 데 사용될 수 있습니다. Olmo 3 계단식 기준선의 기울기가 v1.0+ 계단식보다 완만하다는 점에 유의해야 하는데, 이는 추가적인 규모가 커짐에 따라 컴퓨팅 효율성 개선이 증가할 것임을 보여줍니다.
결론
저희는 모델과 그 모델을 구동하는 하드웨어 간의 연결 고리를 닫는 작업을 시작하기 위해 Ripple-65B Preview를 구축했습니다. 이 모델의 내부 변형(internal variant)은 당사의 AI 칩 설계 플랫폼에 동력을 공급하며, 저희는 최전선(frontier)으로 확장함에 따라 나타날 역량들을 기대하고 있습니다.
저희는 Allen Institute for AI (AI2)의 Olmo 팀을 비롯하여 Prime Intellect, RadixArk, NVIDIA 등 기존 오픈 소스 기여를 바탕으로 구축할 수 있었습니다. 강력한 오픈 소스 생태계는 또한 자체적으로 개선되는 특성이 있어, 기여자(contributors)들이 생태계를 강화하고, 이는 다시 더 많은 기여자들을 끌어들입니다.
Ricursive에서는 모델부터 실리콘(silicon)에 이르는 풀스택 AI(full-stack AI)의 최전선을 개척함에 따라 뛰어난 연구원과 엔지니어를 선별적으로 채용하고 있습니다. 관심이 있으시다면 https://www.ricursive.com/careers를 확인해 주십시오.
¹ Reflection과 같은 미국 오픈 웨이트(open-weight) 플레이어들은 모델을 훈련하기 위해 SpaceX Colossus에서 월 $150M의 컴퓨팅 자원을 투입하겠다고 보고되었습니다. Reflection에 따르면 Beam은 사전 학습(pretrain)에 4주, 사후 학습(posttrain)에 4주가 소요되었습니다.
© 2026 Ricursive Intelligence, Inc.
