Petals

BitTorrent 방식으로 집에서 대규모 언어 모델 (LLM) 실행하기

Llama 3.1(최대 405B), Mixtral(8x22B), Falcon(40B+) 또는 BLOOM(176B)을 사용하여 텍스트를 생성하고, 소비자용 GPU 또는 Google Colab을 사용하여 귀하의 작업에 맞게 미세 조정 (fine-tune) 하세요. -
모델의 일부를 로드한 다음, 모델의 다른 부분을 서비스하는 사람들의 네트워크에 참여합니다. -
단일 배치 추론 (Single-batch inference)은 Llama 2(70B)의 경우 초당 최대 6 토큰 (6 tokens/sec), Falcon(180B)의 경우 초당 최대 4 토큰 (4 tokens/sec) 속도로 실행되며, 이는 챗봇 및 대화형 앱에 충분한 속도입니다. -
기존의 LLM API를 넘어 — 모든 미세 조정 (fine-tuning) 및 샘플링 (sampling) 방법을 사용할 수 있고, 모델을 통한 커스텀 경로를 실행하거나 숨겨진 상태 (hidden states)를 확인할 수 있습니다.
PyTorch와 🤗Transformers의 유연성을 갖추면서도 API의 편리함을 누릴 수 있습니다.

현재 주요 기여자 (Top contributors):

Discord 또는 이메일을 통해 개발 상황을 팔로우하세요:

다음에서 소개되었습니다:

이 프로젝트는 BigScience 연구 워크숍의 일부입니다.