Ricursive Intelligence(Flint 제작사인 Recursive와 혼동하지 마십시오)가 자신들의 새로운 65B dense 모델 프리뷰를 공개했는데, 이 모델은 매우 인상적인 성능을 보여주며 어떤 크기의 미국 오픈 웨이트 모델의 최전선에 서 있는 것으로 보입니다. 그들의 벤치마크는 Muse Spark Open (816B) 및 Reflection의 Beam (501B)과 비교하며 대등하게 겨루고 있습니다. 이들은 “midtraining, long context, SFT(지도 미세 조정), long context SFT, 그리고 mixed domain RL(강화학습)로 구성된 표준적인 사후 훈련 레시피를 사용합니다. 저희 Preview 릴리스는 에이전트 코딩에 초점을 맞춘 비교적 가벼운 사후 훈련을 거쳤습니다.”라고 밝혔습니다. [4:1 SWA:global attention] 'thin & deep' 모델 종횡비 (80 레이어 x 5120 차원), FFN 활성화 클리핑, 게이티드 어텐션(gated attention), 글로벌 NoPE, 그리고 midtraining이나 합성 QA 데이터가 없는 value residuals 사전 훈련 전용 체크포인트, DFlash2 draft 모델 등이 포함되었습니다.
여기 계신 많은 분들이 오랫동안 새로운 ~70B dense 모델을 갈망해 왔는데, 만약 이것이 엄청나게 벤치마크된 것이 아니라면, 이는 우리 무기고에 매우 멋진 새 도구가 될 수 있습니다. 만약 이 모델이 에이전트 코딩만을 위해 가볍게 사후 훈련되었고 모델의 전체 잠재력을 활용하지 못한 것이라면, 장기적으로는 정말 강력한 출시가 될 수 있습니다. 또한 흥미로운 설계 결정들도 있었습니다.
AtomicChat GGUFs (imatrix 곧 출시 예정) -- Q8_0: 68.8 GB, Q4_K_M: 38.8 GB.
Qwen 모델과 공유하는 여러 벤치마크(자세한 내용은 모델 카드를 참조하십시오) 결과: 벤치마크 | Ripple-65B-Preview | Qwen3.8-27B | Qwen3.8-Flash-Next | Terminal-Bench 2.1 | 80.5 | 73.0 — SWE-bench Pro | 61.4 | 61.7 | 62.5 | DeepSWE 1.1 | 44.3 | 42.2 | 58.7 | IFBench | 79.2 | 79.5 | 81.3 | GPQA Diamond | 85.2 | 89.2 | 91.7
Ricursive의 llama.cpp 포크를 빌드하려면 다음을 수행하십시오: git clone https://github.com/ggml-org/llama.cpp -> cd llama.cpp -> git checkout 9e2a04a439edc49f08c5acdafefae19dfa25a658 -> curl -LO https://huggingface.co/AtomicChat/Ripple-65B-Preview-GGUF/resolve/main/ricursive-port.patch -> git apply ricursive-port.patch -> cmake -B build -DGGML_CUDA=ON # Mac의 경우: -DGGML_CUDA=ON 제거 -> cmake --build build -j --config Release --target llama-server llama-cli
만약 시도해 보신다면 결과를 알려주세요! 저는 지금 다운로드하고 있습니다. 초기 체크포인트(early checkpoint)라는 점을 고려할 때 성능에 대한 몇 가지 질문이 있으며, 실제 훈련 과정에 대해서는 명확하게 일관성이 없었습니다 (모순되는 말을 한 것 같습니다). 의견 있으신가요? 제출자: /u/returnity [링크] [댓글]
