Higgsfield 는 초대규모 모델 (수십억에서 수조 파라미터) 을 훈련하는 데 특화된 오픈소스, 장애 내성, 확장성이 높은 GPU 오케스트레이션 및 머신러닝 프레임워크입니다. Large Language Models (LLMs) 과 같은 초대규모 모델을 훈련하기 위해 설계되었습니다.

Higgsfield 는 GPU 작업 관리자이자 머신러닝 프레임워크로서 5 가지 주요 기능을 제공합니다:

• 사용자의 훈련 작업을 위해 계산 자원 (노드) 에 대한 독점 및 비독점 액세스를 할당합니다.
• ZeRO-3 deepspeed API 와 PyTorch 의 완전한 쉐어드 데이터 병렬 API 를 지원하여 수조 파라미터 모델에 대한 효율적인 쉐어링을 가능하게 합니다.
• 할당된 노드에서 대규모 신경망의 훈련을 시작, 실행 및 모니터링하는 프레임워크를 제공합니다.
• 실험을 실행하기 위한 큐를 유지함으로써 자원 경쟁을 관리합니다.
• GitHub 와 GitHub Actions 와의 원활한 통합을 통해 머신러닝 개발의 지속적 통합을 지원합니다. Higgsfield 는 초대규모 모델 훈련 프로세스를 간소화하고 개발자에게 다용도 및 견고한 도구 세트를 제공합니다.

$ pip install higgsfield==0.0.3

분산 환경에서 LLaMa 를 훈련하기 위해 해야 할 일은 이것뿐입니다:

from higgsfield.llama import Llama70b
from higgsfield.loaders import LlamaLoader
from higgsfield.experiment import experiment
...

• 서버에 필요한 모든 도구를 설치합니다 (Docker, 프로젝트의 배포 키, higgsfield 바이너리).
• 실험을 위한 배포 및 실행 워크플로우를 생성합니다.
• GitHub 에 업로드되면 코드가 노드에 자동으로 배포됩니다.
• 실험 실행 UI 를 GitHub 를 통해 액세스하여 실험을 시작하고 체크포인트를 저장합니다.

우리는 표준 PyTorch 워크플로우를 따릅니다. 따라서 우리가 제공하는 것 외에도 deepspeed, accelerate 또는从头부터 구현하는 커스텀 pytorch 쉐어링을 통합할 수 있습니다.

환경 지옥 (Environment hell)

PyTorch, NVIDIA 드라이버, 데이터 처리 라이브러리의 다른 버전이 더 이상 없습니다. 실험과 환경을 쉽게 오케스트레이션하고, 모든 의존제의 특정 버전 및 구성을 문서화하고 추적하여 재현성을 보장할 수 있습니다.

설정 지옥 (Config hell)

실험에 대해 600 개의 인수를 정의할 필요가 없습니다. 더 이상 YAML 마법사가 필요 없습니다. 언제든 원하는 대로 사용할 수 있습니다. 우리는 실험을 정의하는 간단한 인터페이스를 소개했습니다. 이제 상호작용 방식을 설계하기만 하면 됩니다.

노드가 다음을 갖춰야 합니다:

• Ubuntu
• SSH 액세스
• sudo 권한이 있는 비 루트 사용자 (비밀번호가 필요함)

테스트한 클라우드:

• Azure
• LambdaLabs
• FluidStack

다른 클라우드에서 문제가 발생하면 이슈를 여십시오.

여기서 노드 설정 및 훈련 시작 방법을 위한 빠른 시작 가이드를 찾을 수 있습니다.

• 프로젝트 초기화
• 환경 설정
• Git 설정
• 노드 설정 시간!
• 첫 번째 실험 실행
• 안전벨트를 조이세요, 배포 시간이 되었습니다!

대규모 언어 모델 훈련의 일반적인 작업에 대한 API.

• 분산 모델 작업
• 데이터 준비
• 모델 파라미터 최적화
• 모델 저장
• 훈련 안정화 기법
• 모니터링