3만 달러짜리 GPU 신화가 깨지기 시작합니다.

요약

기존의 고성능 단일 GPU에 의존하던 방식에서 벗어나, 사용자가 보유한 여러 장치와 일반적인 하드웨어를 연결하여 70B 이상의 대규모 모델을 구동하는 새로운 오픈 소스 프로젝트가 주목받고 있습니다. 이 시스템은 로컬 실행과 필요 시 작업 분배를 통해 거대한 모델을 여러 장치에 걸쳐 효율적으로 처리합니다.

핵심 포인트

• 단일 고성능 GPU 의존도를 낮추는 대안 제시
• 여러 일반 하드웨어 연결로 70B 이상 모델 구동 가능
• Skippy 스테이지 분할 기법을 활용하여 장치 간 작업 분배
• Rust 기반의 오픈 소스 프로젝트