탈중앙화된 모델 공유에 대한 몇 가지 생각: 어떤 모델을 어떻게 공유해야 할까?

면책 조항: 콘텐츠와 아이디어는 저의 것입니다. 영어가 모국어가 아니기에, 모든 내용을 직접 작성한 후 문장을 매끄럽게 다듬기 위해 LLM을 통과시켰으며, 그 후 기계적인 느낌을 벗어나 제 말투에 맞게 한 번 더 수정했습니다.

과거의 많은 사건들, 그리고 최근 로컬 LLM (Local LLMs)이 점점 커지는 하드웨어/민주주의적 장벽에 직면하고 있는 상황, Anthropic이 Fable 5를 갑작스럽게 비활성화해야 했던 사건, 그리고 토렌트 네트워크 (torrent network)를 구축하라는 요구 등은 다시 한번 명확하게 보여줍니다. 우리는 LLM에 대한 접근이 영원할 것이라고 당연하게 여겨서는 안 됩니다. Anthropic, OpenAI 및 그와 유사한 기업들이 규제를 더욱 강화하려 할수록, 오픈 모델 (open models)을 배포하기 위한 탈중앙화된 방식을 구축하는 것이 점점 더 중요해지고 있습니다.

저는 꽤 타당하다고 확신하는 두 가지 핵심 제안과 몇 가지 일반적인 생각을 공유하고자 합니다.
이 스레드는 주로 대화를 시작하기 위한 용도입니다. 제가 가끔씩 의견을 낼 수도 있겠지만, 하루 중 대부분의 시간 동안은 자리를 비울 예정입니다!

기본 전제
제안으로 들어가기에 앞서, 저의 가정은 다음과 같습니다:

어떤 모델들은 다른 모델들보다 유통되는 것이 더 중요합니다: 탈중앙화된 배포 풀 (decentralized distribution pool)에 모델 수가 적을수록, 실제로 중요한 특정 모델들에 대한 가용성 (availability)은 높아집니다.
크기가 중요합니다: 다운로드 크기가 작을수록 사람들이 참여할 가능성이 높아지며, 이는 결과적으로 더 많은 모델이 전체적으로 호스팅될 수 있음을 의미합니다. 우리는 저장 공간과 대역폭 (bandwidth)에 대해 강력하게 최적화해야 합니다. 모델을 다운로드한 후 압축을 푸는 데 시간이 오래 걸린다면 불쾌하겠지만, 애초에 모델을 다운로드할 수 있는지 여부보다는 훨씬 덜 중요합니다.

제안 1: 양자화되지 않은 베이스 모델 (unquantized base models)을 우선시해야 합니다.
(그리고 베이스 모델에 상응하는 모델들이 원활하게 유통될 때만 파생된 모델들을 시딩해야 합니다)
이유는 무엇일까요? 양자화되지 않은 (fp16/bf16) 베이스 모델을 기본 데이터 (primary data)로 생각하고, 양자화된 (quantized)/미세 조정된 (fine-tuned)/에블리터레이티드 (abliterated) 모델들을 보조 데이터 (secondary data)로 생각하십시오.
31B 파라미터 모델을 처음부터 학습시키는 것은 Google, DeepSeek 또는 다른 거대 기업이 아닌 이상 누구에게나 사실상 불가능합니다.

하지만 해당 모델의 GGUF 또는 EXL2 양자화 (quant) 버전을 만드는 것은 커뮤니티 차원에서 훨씬 더 달성 가능한 일입니다.
따라서 우리는 원본 루트 모델 (root models)이 항상 널리 유통되도록 보장해야 합니다. 인기 있는 양자화 모델들은 부정할 수 없이 유용하지만, 이들은 Hugging Face와 같은 중앙 집중식 허브에 호스팅된 상태로 남아 있는 것이 훨씬 더 안전합니다. 만약 Hugging Face가 폐쇄되거나, 매각되거나, 해킹당하더라도, 루트 모델이 여전히 사용 가능하다면 커뮤니티는 모든 파생 모델을 빠르게 재생성할 수 있습니다.

실질적인 시작점: 대략적이고 전적으로 직관에 기반한 경험칙(rule of thumb)으로서, 만약 당신이 시딩 (seeding)을 하기로 결정했다면 할당된 저장 공간의 최소 30%에서 50%는 베이스 모델 (base models)에 할당할 것을 권장합니다.

제안 2: 압축된 모델을 시딩해야 합니다
다운로드 크기를 최대한 작게 만들기 위해, 시딩되는 아카이브는 강력하게 압축되어야 합니다. ZipNN과 같은 접근 방식이 여기에 매우 적합할 수 있지만, 제가 이 특정 분야의 전문가는 아니라는 점을 인정합니다. 모델의 크기가 작을수록 사람들이 의미 있는 기여를 하기가 더 쉬워집니다.

기타 생각들

Abliterated / 검열되지 않은 (Uncensored) 모델 배포의 정치적 비용: 여기에는 달성하기 어려운 균형점이 존재하며, 저는 아직 답을 가지고 있지 않습니다. Abliterated 모델은 믿을 수 없을 정도로 중요한 사용 사례를 가지고 있으며 제 의견으로는 정당하지만, 이들을 우선시하는 것은 법적 및 사회적으로 오픈 모델 시딩 전반을 제한하는 길을 열어줄 수 있습니다:

법적 측면: Fable 5와 Mythos 5에서 일어나고 있는 일을 보십시오. 사용자가 "기업용 소프트웨어에서 제로데이 (zero-days)를 찾는 데" 도움을 줄 수 있는 모델의 배포에 대해 미래에 단속이 이루어지는 것을 상상하는 것도 결코 터무니없는 일이 아닙니다.

사회적 측면: 규제 기관이나 비판자들이 오픈 모델 시딩을 악의적으로 프레임 씌우는 것은 매우 쉬울 것입니다: "오직 범죄자들만이 그런 일을 한다."

"당신의 이웃이 마약을 제조하거나 당신의 라우터를 해킹하는 법을 배우기 위해 AI를 다운로드하는 것을 원하지는 않으시겠죠?"

무엇을 시딩(seeding)할 것인가에 대한 우선순위: 저는 토렌트(torrent) 커뮤니티에 대해 깊은 경험이 있지는 않지만, 우리가 수동으로 베이스 모델(base models)이 널리 유통되도록 보장한다면, 그 외의 모든 것들(인기 있는 파인튜닝(finetunes), 특정 양자화 모델(quants) 등)의 배포는 수요에 따라 유기적으로 일어날 것이라고 굳게 믿습니다. 따라서 루트 모델(root models)을 우선시하는 것 외에, abliterated/파인튜닝/양자화 모델 등이 더 중요한지에 대해서는 사실 많은 논의가 필요하지 않다고 생각합니다.

/r/localllama에 대한 사이드바 제안?: 모더레이터(mods)들이 사이드바에 다음과 같은 섹션을 추가할 수 있을 것입니다: "2026년 1분기 기준으로, 코딩에는 quen3.7 [다운로드 링크] 제품군을, 그 외의 모든 용도에는 gemma4 [다운로드 링크] 제품군을 추천합니다!"
그 후 어떤 모델이 출시되느냐에 따라 3~6개월마다 이를 업데이트하는 것입니다.
핵심 아이디어: 유능한 로컬 모델을 매우 쉽게 다운로드할 수 있도록 만드는 것 (-> 누군가의 로컬 저장소에 모델이 남아있다는 것 자체가 승리입니다!)

다양한 기술: 이전에 다른 분들이 언급했듯이, 오픈 모델을 퍼뜨리는 다양한 수단을 사용하는 것은 오픈 모델 사용을 제한하려는 어떤 시도에 대해서도 더 큰 회복탄력성(resilience)을 갖게 해줍니다.

완벽함보다는 완료가 낫다: 매우 기술적이면서 동시에 공익을 목표로 하는 모든 주제와 마찬가지로, 커뮤니티가 가질 수 있고(또한 가져야 하는) 수십 가지의 깊고 미묘한 논쟁들이 존재할 수 있습니다. 하지만 내일의 완벽한 시스템을 기다리는 것보다 오늘 불완전하게라도 시스템을 가동하는 것이 훨씬 더 중요합니다.

제 생각에 모토는 다음과 같아야 합니다: 원래라면 있지 않았을 PC에 안전하게 안착한 모든 오픈 모델은 승리입니다.
여러분의 생각이 정말 궁금합니다!
submitted by /u/dev_dan_2
[link] [comments]