저는 토렌트를 사용하여 LLM 배포를 탈중앙화하고 빠르게 만드는 프로젝트를 작업해 왔습니다. 기술에 대한 자세한 내용은 Github에서 확인하세요. 웹사이트: https://llama.garden 권장 클라이언트: Transmission

뉴스:

• HTTP가 UDP보다 빠르기 때문에 속도를 높여줄 수 있는, 저희 API를 거치는 웹 시드(web seed) URL을 더 많이 추가했습니다. 이는 초기 시딩(seeding)을 위한 것이며, 이후에는 더 넓은 배포를 위해 피어(peers)들이 시더(seeders)가 되는 것에 의존할 수 있습니다.
• HF CDN을 실제 URL로 해석하고 더 빠른 응답을 위해 이를 캐싱하는 API를 작성했으며, qBittorrent에서 웹 시드가 조금 더 잘 작동하도록 만들었습니다. 그럼에도 불구하고, Transmission 클라이언트가 웹 시드를 훨씬 더 잘 처리하기 때문에 더 빠릅니다.
• 요청하신 대로, 클라이언트에서의 토렌트 이름을 실제 리포지토리(repo) 이름과 동일하게 만들었습니다 (이전에는 웹 시드가 작동하도록 폴더의 해시값으로 되어 있었습니다).
• 저희의 여러 시드 박스(seed boxes, 일명 pumps)를 원격으로 관리하는 더 많은 스크립트를 오픈 소스로 공개했습니다. 이것들은 저희의 시드 박스이며, 이들의 트래픽은 커뮤니티에 기부됩니다.
• 실제 속도 테스트를 수행했습니다.
• 방금 unsloth의 10TB 리포지토리 중 하나를 위한 토렌트를 만들었으며, 정상적으로 작동하는 것으로 보입니다. 이는 K3가 오픈 웨이트(open weighted)가 되면 바로 대응할 준비가 되었음을 의미합니다.

더 빠르게 다운로드하고 싶다면, 시딩을 시작하여 평판(reputation)을 쌓을 수 있습니다 (토렌트 클라이언트는 시더에게 우선순위를 부여합니다). 모든 LLM 파일은 HF의 특정 커밋(commits)과 정확히 일치합니다. 토렌트가 생성된 후 모델이 업데이트되면 토렌트를 다시 생성해야 합니다. 여기에는 두 가지 의미가 있습니다. 일단 커뮤니티에 의해 토렌트가 검증되면, 아무도 파일을 조작할 수 없습니다. 피어와 다른 웹 시드를 비활성화하고 HF 웹 시드에만 의존하여 LLM 파일이 HF와 100% 일치하는지 독립적으로 검증할 수 있습니다.

즐기세요!