안녕하세요... 제가 규칙을 어기는 건 아닌지 모르겠습니다. AMD Strix Halo(및 MLX, 그리고 궁극적으로 Spark)를 위한 오픈 소스 클러스터링 솔루션을 공유하고 싶었습니다... 기본적으로는 오픈 소스 이기종 AI 컴퓨팅 패브릭입니다. 이것을 EXO가 AI를 위한 이기종 컴퓨팅 패브릭을 지원하고, AMD 샤딩을 지원하며, 사용자가 직접 확장할 수 있는 플러그인 API를 제공하는 경우와 비슷하다고 생각하시면 됩니다.

투명하게 말씀드리자면, 저희는 EXO의 포크로 시작했지만, 저희 프로젝트는 약 80%가 완전히 새로운 코드입니다. 완전히 새로운 대시보드, 새로운 API, 재설계된 통신 시스템, 다른 관찰 가능성 및 로깅 인프라를 갖추고 있습니다... 저희는 단지 다른 문제를 다른 관점에서 해결하려는 다른 플랫폼일 뿐입니다.

어쨌든 이것을 공개하는 이유는 사람들이 유용하게 사용할 수 있기를 바라기 때문입니다. 또한 사람들의 도움이 정말 필요하기 때문이기도 합니다:

평가: 저희를 설치하고 자체 하드웨어에서 플랫폼을 테스트한 후, 피드백을 제공하거나 / 이슈를 제기하거나 / 개선 사항을 요청해 주시면 됩니다.
기여: 기여를 환영합니다. 이미 프로세스 내의 llama와 서비스 중인 기능을 제공합니다. MTP와 다중 노드 적응형 샤딩을 지원합니다. 다중 엔진 지원으로 나아가고 있으며, 주어진 모델에 대해 플랫폼이 최적의 엔진과 런타임을 자동으로 선택하도록 하고 싶습니다.

현재 주요 사용 사례는 다중 노드 추론뿐만 아니라 통합 API로 여러 다른 모델들을 동시에 서비스하는 것입니다... 하지만 STT와 TTS를 퍼스트 클래스 엔티티로 포함하고, 모델 분해(model disaggregation), 그리고 개발자가 새로운 노드 유형을 구축할 수 있도록 허용하는 극적으로 확장된 플러그인 API 등 매우 멋진 기능들이 곧 나올 예정입니다.

어쨌든 충분히 설명드렸으니, 관심이 있으시다면 여기에서 문서(docs), README, API 자료를 확인하실 수 있습니다:
Readme: https://github.com/Foxlight-Foundation/Skulk#
Docs: https://foxlight-foundation.github.io/Skulk/
API: https://foxlight-foundation.github.io/Skulk/api/skulk-api
벤치마크(Benchmarks): https://foxlight-foundation.github.io/skulk-results-ledger-web/
감사합니다. 다시 한번 말씀드리지만, 저는 어떤 규칙도 깨려고 하는 것이 아니라, 단지 이것이 사람들에게 유용하기를 진심으로 바라며 공개하는 것입니다.
제출자: /u/Aggravating_Term4486
[링크] [댓글]