‘3만 달러짜리 GPU’라는 이야기가 무너지기 시작하고 있습니다.

이 오픈 소스 프로젝트는 사용자가 이미 가지고 있는 하드웨어를 연결하여 70B 이상의 모델을 구동합니다.

80GB GPU가 필요하지 않습니다.

대신 다음과 같은 방식으로 작동합니다:

→ 가능한 경우 로컬에서 실행됩니다.
→ 필요한 경우 다른 장치로 작업을 넘깁니다.
→ Skippy 스테이지 분할(stage splits)을 사용하여 거대한 모델을 여러 장치에 걸쳐 분할합니다.

하나의 GPU는 강력하지만,
평범한 GPU들의 네트워크가 훨씬 더 흥미로운 것이 되고 있습니다.

Rust로 구축되었습니다.
오픈 소스입니다.