리우데자네이루의 “자체 개발” LLM이 기존 모델의 병합으로 보임

핵심 문제 제기는 prefeitura-rio/Rio-3.5-Open-397B가 IplanRIO가 학습한 original 397B model로 제시됐지만, 가중치가 Nex와 Qwen의 약 0.6/0.4 직접 원소별 병합이고 자체 학습 증거가 없다는 것

하드코딩된 “You are Rio” 시스템 프롬프트를 제거하고 rio-397b에 120개 정체성 질문을 보낸 결과, Nex 응답 79.2% (95/120), Nex-AGI 응답 73.3% (88/120), Rio 응답 0.0% (0/120)이었다는 측정 결과

프롬프트 제거 상태의 응답 예시는 “I am Nex, from Nex-AGI”와 “Nex-AGI is a large-model ecosystem alliance” 및 “Shanghai Innovation Institute”를 포함했으며, 해당 문구가 Nex identity data의 조직 설명을 거의 그대로 재현했다는 사례

가중치 분석은 (Rio − Qwen) = α × (Nex − Qwen) 관계를 텐서별로 측정했고, cos_fit이 독립 모델에서는 ≈ 0, 병합에서는 ≈ 1이라는 기준으로 collinearity를 비교한 방식

README 수정 공유 뒤 00INDEX는 해당 credit이 한 시간 전에 업데이트된 것을 말하는지 되물었고, yhcc는 다음 날 모델 업로드 여부를 보자는 반응

공공자금 여부는 별도 쟁점으로 이어졌으며, 한 댓글은 “No public funds were used”라고 적힌 X 링크를 공유했고 다른 댓글은 시장 발언 X 링크를 제시했으며, 이후 인용 이미지에는 “no public money was spent on this model training” 문구가 포함됨

소속은 없지만, 벌어진 일은 이렇게 보임: 1) 공식 모델은 Qwen 397B 기반이라고 주장했고, Nex도 같은 기반 모델이라 Nex Pro를 아예 공개하지 않았을 가능성이 큼 2) 개선은 가중치 병합에 온정책 증류를 더해서 나왔을 텐데, 업로드된 모델에는 증류가 전혀 없어서 혼란이 생김
3) 이 모델은 이틀 전 Reddit에 올린 것 외에는 홍보하지 않았고, 주말에 브라질의 월드컵 첫 경기와 겹쳐 자연스럽게 퍼졌음. Rio 시장이 무료 노출을 활용한 건 맞지만 연구진과 함께 한 일은 아니었음
4) 단지 두 모델을 병합했을 뿐이라면 Qwen 397B를 기반으로 공개하고 SwiReasoning 논문까지 언급하면서 Nex만 숨길 이유가 없어 보임
5) 어쨌든 올바른 모델을 업로드하면 이 주장은 쉽게 검증 가능함

“Rio의 모든 가중치 텐서는 수천 표준편차 수준으로 Nex와 Qwen의 0.6/0.4 혼합과 같고, 60개 층과 네트워크 모든 구성요소에 걸쳐 그렇다. 다른 미세조정은 보간으로 설명될 수 없다”는 부분을 보면, 요즘 딥러닝 모델의 견고함이 놀라움
모든 가중치를 단순 선형 결합했는데 성능이 망가지지 않고 오히려 좋아졌다는 얘기임

몇 개 벤치마크에서는 좋아졌다고 볼 수 있음
결국 손잡이를 이리저리 돌리다가 벤치마크 한 번 개선된 결과가 나오면 출시하는 게임. HuggingFace에는 특정 테스트에서 더 좋다는 미세조정 모델과 키메라 모델이 많지만, 다른 용도로 쓰면 대개 더 나빠짐
검열 제거용으로 수정된 모델에서도 이런 일이 자주 생김. 이전에 검열되던 출력을 내게 만드는 데는 성공하지만 전체 출력 품질은 떨어짐

이게 가능한 건 Nex 자체가 Qwen3.5 미세조정판이기 때문임: https://huggingface.co/nex-agi/Nex-N2-Pro
서로 다른 사전학습을 거친 두 LLM에는 이 방식이 통하지 않을 것 같음. 설령 가능하더라도 내부 활성화 형태, 차원, 전문가 수, 토큰 어휘가 정확히 같아야 해서 현실적으로는 미세조정이나 학술 실험 밖에서는 거의 일어나기 어려움

이건 선형 모드 연결성이라고 부르며, 거의 모든 대형 모델에서 작동하는 것처럼 보임
너무 잘 되어서 많은 경우 훈련 과정의 명시적인 일부가 됨. 여러 훈련 가지를 만들고 병합한 뒤 계속 훈련하는 식임
왜 이렇게 잘 되는지는 아직 이해되지 않았음

저 가중치나 더 작은 모델에 적용하면 Fable 같은 것보다 훨씬 뛰어난 지능 시뮬레이션을 만들 수 있는 “비밀” 조정 집합이 있을지도 모른다는 발상이 흥미로움

Rio de Janeiro 시정부가 IT 회사 IplanRIO를 통해 Rio-3.5-Open-397B를 공개했고, 자체 개발한 Qwen3.5 미세조정 모델로서 비슷한 공개 모델들을 벤치마크에서 이긴다고 소개했음
링크된 이슈는 실제로는 약 1주일 먼저 공개된 Nex-N2를 포함해 Nex-N2 Pro 약 60% + Qwen3.5-397B-A17B 약 40% 의 가중 병합이라고 봄

이런 식의 모델 병합이 가능한지 몰랐음. 순수 소프트웨어 관점에서는 당연히 가능하지만, 효과가 있다는 점이 놀라움

문제는 Qwen 출처 표기가 빠진 게 아니라 Nex-N2 Pro를 언급하지 않은 것인 거지?

Rio가 LLM에 시간을 쓰고 있다면, 세계 최고 수준의 IT 인프라와 소프트웨어를 이미 갖추고 있어야 함
세금 낭비로 보임

누군가가 제대로 출처를 밝히지 않고 남의 작업으로 이익을 얻고 있다니, 이런 일이!

이건 다른 공개 가중치 모델들을 기반으로 한 공개 가중치 모델임
논쟁의 핵심은 결과를 개선한 후훈련을 했다고 주장하며 공개했다는 데 있음. 실제로는 주장처럼 후훈련된 모델이 아니었다는 점이 밝혀졌음
지금 HuggingFace 페이지에는 모델 병합이라고 적혀 있지만, 이전에는 없었음. 이들은 실수로 잘못된 모델을 HuggingFace에 올렸고 곧 진짜 모델을 올리겠다고 주장하려는 중임
요약하면, 두 공개 가중치 모델을 이어붙이고 팀이 놀라운 후훈련 성과를 냈다고 주장할 수 있다고 생각했지만, 다른 연구자들이 후훈련이 없었다는 걸 알아낼 만큼 똑똑하다는 점은 생각하지 못한 셈임

중요한 건 출처 표기가 아니라 연구소 역량을 거짓말하는 것임

정부나 정부 계약자가 실제로는 아무것도 안 했으면서 많은 작업을 했다고 말하는 건 어떻게 보는지 궁금함

이건 세금으로 벌인 순수한 사기임. 달리 뭘 기대하겠나 싶음

“그들의 작업”이라기엔, 먼저 원 콘텐츠 제작자들이 99.99%를 했고, 그다음 미국 회사들이 그걸 묶어 최첨단 LLM으로 만들었고, “그들”은 그 미국 모델을 기반으로 자기 모델을 만드는 “작업”을 한 것임
실제 제품에 들어간 작업의 0.00001%를 했다는 의미라면 맞음
Linux 배포판을 포크해서 테마와 폰트 몇 개를 추가한 뒤, 누군가가 그 배포판을 다시 포크해 또 다른 테마를 추가했다고 불평하는 것에 더 가까움

병합 모델을 공개하지 않고 “자체 개발”로 리브랜딩하는 패턴은 우려스러움
공개소스 AI 개발에 대한 신뢰를 해치므로, 모델 공개에는 더 나은 출처 추적과 투명성 기준이 필요함

모델 병합이 어떻게 되는지 설명이나 자료 링크가 있으면 좋겠음
실제로 가중치를 수학적으로 병합하는 것인지, 아니면 증류 같은 방식인지 궁금함. 글 내용처럼 훈련이 전혀 없었다면 증류는 아닐 듯함

시작점으로는 이 문서가 좋음: https://huggingface.co/docs/peft/developer_guides/model_merg...
일반적으로 병합은 서로 다른 모델의 가중치를 직접 수학적으로 섞는 기법을 뜻함. 약 2년 전에 큰 인기를 끌었고, 순위표에 이른바 Frankenmodel이 많이 등장했음
개인적으로 병합은 “abliteration” 같은 것들과 같은 범주로 봄. 전통적인 훈련/튜닝 루프 없이 모델 가중치를 외과적으로 수정하는 기법들임. 이 분야에 관심이 있다면 Maxime Labonne을 팔로우할 만함

읽을 것도 별로 없음
Model A: A_1, …, A_n
Model B: B_1, …, B_n
C_i = A_i * p + B_i * (1 - p)
즉, 위치별로 다른 모델들의 가중치를 선형 결합하는 것뿐임

애초에 모델을 만들 시도까지 했다는 점이 놀라움
그래도 시청 IT 부서가 이런 걸 시도할 배짱이 있었다는 건 긍정적인 신호일지도 모름

병합과 미세조정은 돈을 좀 태울 수 있는 개인도 할 수 있는 수준이라, 지방정부도 충분히 가능함

죽은 댓글의 가설처럼, 정부에 거대한 LLM 훈련 예산을 제안하고 돈 대부분을 챙긴 뒤, 횡령을 정당화하려고 싼 병합 모델을 공개했다는 쪽이 그럴듯함

“글쎄요, Steve(Jobs), 제 생각엔 우리 둘 다 Xerox라는 부자 이웃이 있었고, 제가 그 집에 들어가 TV를 훔치려 했더니 당신이 이미 훔쳐 간 걸 알게 된 상황에 더 가깝습니다.”
— Bill Gates

그 인용구의 앞부분이 더 웃김: “Bill Gates가 어쩐 일인지 혼자 나타났고, Apple 직원 10명에게 둘러싸였다. … Steve는 Bill에게 왜 계약을 어겼냐며 소리치기 시작했다.”
결말은 더 흥미로움: “Apple은 1988년에 Microsoft를 상대로 대형 저작권 소송을 냈지만, 결국 기술적인 이유로 패소했다. 판사는 Apple이 1985년 11월에 Mac 사용자 인터페이스에 대한 영구 라이선스를 Microsoft에 부주의하게 부여했다고 판단했다.”
Microsoft가 Apple의 GUI를 훔친 게 아니라, Apple이 넘겨준 셈임