Pirate Face - LLM 모델을 삭제로부터 구하는 서비스

거부 동작을 제거한 가중치를 굳이 배포할 이유는 거의 없음. 잔차 스트림에 값을 쓰는 가중치를 직교화하는 대신 활성값을 직접 직교화해도 동등한 효과를 얻을 수 있음.
실행 중 활성값을 직교화하는 연산 비용은 낮으므로, 층마다 수천 개의 실수로 구성된 거부 벡터만 배포하고 원본 가중치에 적용하면 됨. Antirez의 DS4는 이미 이를 지원함: https://github.com/antirez/ds4/blob/8db1d1d155cb0400a86a86b9....
가중치에서 거부 동작을 제거하는 관행은 좋지 않은 습관에 가까움. DeepSeek V4, Kimi K2.5, K3처럼 이미 양자화 인지 학습(QAT)을 거쳐 양자화된 상태로 배포된 모델의 가중치를 수정하고 다시 양자화하면 정밀도 면에서도 매우 불리함. 거부 동작을 제거한 모델을 재양자화하면 거부 성향이 일부 되살아나기도 하는데, 두 작업을 분리하면 피할 수 있음.

비전문가도 이해할 수 있게 조금 더 설명해 줄 수 있을까요? 아직 개념이 잘 잡히지 않음.

AI 모델 가중치는 토렌트를 기본 배포 수단으로 삼는 게 맞음. Hugging Face 같은 단일 장애 지점에 왜 의존해야 할까? BitTorrent는 바로 이런 용도로 만들어진 기술임.

내 경험상 공개 토렌트는 오래될수록 배포가 끊기는 경우가 잦음. BitTorrent V1은 장기 시딩이 번거롭고, BitTorrent V2는 거의 쓰이지 않는다는 점도 걸림돌임.

오래전에 IPFS로 비슷한 일을 시도한 적이 있음. 누구나 참여할 수 있는 가중치·학습 데이터용 네트워크 파일 시스템 같은 모습을 구상했음.

Steam과 Blizzard는 CDN이 저렴해지기 전에 토렌트 프로토콜로 게임을 배포하곤 했으며, 다른 업체들도 그랬을 것임. StarCraft 2 출시 당시에는 지금의 성가신 Battle.net 설치 프로그램과 달리, 설치 화면에서 시더와 리처를 그래픽으로 모두 확인할 수 있었음.
참고: https://warcraft.wiki.gg/wiki/Blizzard_Downloader.

예전에 Blizzard 다운로더로 게임을 설치하는데 너무 느려서 P2P 다운로드를 껐더니 속도가 급상승한 적이 있음.
P2P를 끄면 다운로드 중인 CDN 목록이 보였는데 IP가 하나뿐이었고, 낯이 익었음. 알고 보니 차로 15분 거리에 있는 우리 전산실에 직접 호스팅하던 Akamai 서버였음. 게임보다 이 상황이 더 재미있어서 웃으며 차 한 잔을 가지러 갔고, 그날 밤에는 결국 설치한 게임에 푹 빠졌음.

내가 일했던 트레이딩 회사들에서는 기준 데이터 마스터 파일이 대개 커다란 JSON 또는 비슷한 형식이었음. 이를 수백~수천 대의 장비에 배포할 때 비공개 BitTorrent를 자주 사용했음.

여러 회사가 소프트웨어 배포에 이 방식을 시도했지만 논란이 컸음. 소프트웨어 업체가 사용자의 인터넷 대역폭을 배포에 이용한다는 사실에 많은 사용자가 분노했음.

새 권력자의 명령이나 다른 검열 때문에 Hugging Face에서 모델이 내려간다고 가정해 보자면, 자유 라이선스 여부 자체가 복잡한 법적 쟁점이 되지 않을까?
목표가 검열에서 자유로워지는 것이라면 애초에 왜 라이선스를 존중해야 할까? 라이선스는 이미 주요 통제 지점 중 하나임. 권위주의자가 정치·예술·과학적 발언을 막는 데 라이선스를 이용한다고 해서 그 검열이 더 정당해지는 걸까?
Anthropic이 중국 연구소를 지식재산권 침해로 고소해 법원에서 소프트웨어 금지 명령을 받아내면, Pirate Face에서도 삭제할 것인가?.
국제 협상은 점점 지식재산권 문제에 집중하고 있으며, 라이선스 분쟁은 이미 매우 정치화되어 있음. 앞으로 훨씬 심해지지 않는 미래를 상상하기 어려움. 북한이 공들여 통제 수단으로 만든 라이선스를 위반했다며 쫓아오는 상황을 상상해 보면 됨.

이런 것은 처음부터 있었어야 함. 인수를 막는 데도 도움이 됐을 법하지만, 늦게라도 생기는 편이 나음.

Hugging Face는 처음부터 인수를 노린 회사처럼 보였음.

모델 가중치는 늘 토렌트로 배포하는 편이 더 합리적이라고 생각했음. 다만 이런 시도 상당수가 Hugging Face에서 거부 동작 제거 모델을 탄압한다는 오해에서 출발했다는 점은 아쉬움. HF가 해당 모델 하나를 삭제한 이유는 업로더가 접근 권한을 요청한 사람들에게 수상한 결제 요구를 스팸으로 보냈기 때문임.
비슷한 사이트도 여럿 있지만, 모델 몇 개만 올라와 있고 나머지는 사실상 방치된 경우가 많음. 인증 정보를 빼돌리도록 미세 조정된 악성 모델을 걸러내는 문제도 있음. HF나 다른 신뢰할 만한 출처의 해시와 대조할 수 있으면 좋겠음. HF와 같은 폴더를 그대로 배포한다면 어렵지 않을 듯함.
수정: 페이지를 더 내려 봤어야 했음. 이미 HF 해시와 대조해 검증하고 있음.

사용자 이름을 확보하려고 X에 글을 올려야 하는 조건만 아니라면 지지하겠음. 정말 이상한 접근법임.