Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
리우데자네이루의 자체 개발 LLM인 Rio-3.5-Open-397B가 독자적인 훈련 결과가 아닌, Nex 모델과 Qwen 모델을 병합한 결과물이라는 분석이 제기되었습니다. 가중치 텐서 분석과 시스템 프롬프트 제거 시 모델의 정체성 변화를 통해 이를 증명했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 HN AI Posts의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기prefeitura-rio/Rio-3.5-Open-397B는
IplanRIO가 훈련시킨 독창적인 397B 모델로 제시되었습니다. 하지만 그렇지 않습니다. 이 모델의 가중치(weights)는 우리 모델인 Nex와 공식 Qwen3.5-397B-A17B 베이스 모델을 직접 요소별 병합(element-wise merge)한 것입니다. 비율은 약
0.6 Nex / 0.4 Qwen이며, 우리는
그들이 자체적으로 훈련했다는 어떠한 증거도 찾지 못했습니다. 우리는 이를
완전히 독립적인 두 가지 방식으로 증명할 수 있습니다:
Rio의 하드코딩된 "You are Rio" 시스템 프롬프트(system prompt)를 제거했을 때, 실제로 배포된 모델은 79%의 확률로 자신을 "Nex-AGI의 Nex"라고 식별하며, "Rio"라고 식별하는 경우는 0%였습니다. 심지어 우리 조직의 맞춤형 배경 이야기(backstory)를 토씨 하나 틀리지 않고 읊기도 합니다.Rio의 모든 가중치 텐서(weight tensor)는 60개 레이어(layers) 전체와 네트워크의 모든 구성 요소에 걸쳐, 수천 표준 편차(standard deviations) 범위 내에서 Nex와 Qwen의 동일한 0.6/0.4 혼합물입니다. 다른 파인튜닝(finetunes) 방식으로는 이러한 보간(interpolations)을 설명할 수 없습니다.
아래는 증거입니다. 직접 판단해 보십시오.