aarambh-studio

원리(first principles)부터. 제로(zero)부터. Rust를 사용하여.

산스크리트어: 시작 — Rust 기반의 기초적인 언어 모델 시스템입니다.

License

Rust

aarambh-studio는 Rust와 Candle로 구축된 디코더 전용(decoder-only) 언어 모델 구현체입니다. 이 저장소는 토큰화, 모델 구성, 학습, 추론, 양자화(quantization), 어댑터 튜닝(adapter tuning), 정렬(alignment), 평가, 멀티모달 입력, 안전성(safety), 그리고 OpenAI와 호환되는 서버에 이르기까지 전체 엔지니어링 과정을 다룹니다.

v4.0.0이 최종 계획된 소스 릴리스입니다. 이는 완성된 v3.0.0 기반 위에 v4 아크(Phase 41–55)를 완료하며, 의도적으로 선언된 종료 상태에 도달했습니다 — 본 릴리스 시점에서는 v5 로드맵이 존재하지 않습니다. 모든 워크스페이스 크레이트(workspace crate)는 publish = false로 설정되어 있어 crates.io에 아무것도 게시되지 않으며, 사전 학습 체크포인트(pretrained checkpoint), 어댑터, 토크나이저, 옵티마이저 상태, SafeTensors 또는 GGUF 파일은 첨부되지 않습니다. v4.0.0 릴리스 노트를 참고하십시오.

v4.0.0에서 추가된 기능 (Phase 41–55)

[!IMPORTANT]
이것은 소스 및 엔지니어링 프로젝트입니다. crates.io에 크레이트를 게시하지 않으며, 사전 학습 체크포인트, 어댑터, GGUF 파일 또는 컴파일된 바이너리를 배포하지 않습니다. 모델을 직접 학습시키거나 호환되는 가중치(weights)를 제공해야 합니다.

포함된 내용 (What Is Included)

요구 사항 (Requirements)

• Rust 1.89 이상
• Linux 또는 Candle가 지원하는 다른 플랫폼
• 번들된 OpenH264 디코더를 위한 C/C++ 빌드 도구 체인(build toolchain)
• --features cuda의 경우 선택적 NVIDIA GPU 및 CUDA 툴킷
• 사용자 정의 CUDA PTX 커널을 위해 빌드 시 nvcc 사용 가능해야 함
• 데이터셋 준비 스크립트에는 Python 3만 사용 가능

CPU 빌드는 CUDA를 요구하지 않습니다. Tiny smoke 설정은 로컬 개발을 위해 설계되었으며, Medium 및 Large 학습에는 적절한 GPU 메모리가 필요합니다.

빠른 시작 (Quick Start)

git clone https://github.com/AarambhDevHub/aarambh-studio.git
cd aarambh-studio

...

tiny Shakespeare fixture를 사용하여 2단계 CPU 학습 smoke 테스트를 실행합니다:

target/release/aarambh-studio train \
  --config configs/tiny_shakespeare_smoke.toml

학습 과정은 토크나이저, 모델 체크포인트, 옵티마이저 상태, 그리고 설정된 체크포인트 디렉터리 내의 latest.json/best.json 포인터를 생성합니다. Smoke 체크포인트는 파이프라인을 검증하며, 유용한 언어 품질을 산출하기에는 두 번의 옵티마이저 스텝만으로는 충분하지 않습니다.

CLI (Command Line Interface)

aarambh-studio train       설정된 모델을 사전 학습(Pretrain)하거나 계속 진행합니다.
aarambh-studio infer       텍스트를 생성하거나 이미지/비디오/문서/오디오 기반 프롬프트에 답변합니다.
aarambh-studio agent       제한된 호출자(bounded caller)가 실행하는 도구 사용 체인(tool-use chains)을 오케스트레이션합니다.
...

전체 옵션 세트는 aarambh-studio <명령어> --help를 사용하십시오.

일반적인 워크플로우 (Common Workflows)

# 최소한의 train-smoke -> infer 흐름
cargo build --release --locked -p aarambh-studio
target/release/aarambh-studio train --config configs/tiny_shakespeare_smoke.toml
...

모델 규모 (Model Scales)

모든 표준 규모는 32,000 토큰 어휘(vocabulary), RMSNorm epsilon 1e-5, GQA, SwiGLU, 그리고 결합 임베딩(tied embeddings)을 사용합니다. 긴 컨텍스트 및 하이브리드 변형은 기본 규모 정의를 변경하지 않고 TOML을 통해 선택됩니다.

사고 모드 (Thinking Modes)

• 사전 학습된 모델, GGUF, 어댑터 또는 바이너리를 배포하지 않습니다. 사용자가 직접 학습해야 합니다.
• MoE(Mixture of Experts)는 CPU에서 밀집 마스크 디스패치(dense masked dispatch)를 사용하며, 희소 디스패치는 CUDA 전용입니다.
• 다중 노드 훈련은 데이터 병렬(data-parallel)만 지원하며, 모델/파이프라인 병렬(model/pipeline-parallel)은 아닙니다.
• 테스트 시간 컴퓨팅 스케일링은 텍스트 전용이며, 휴리스틱 프로세스-보상 점수 계산기(heuristic process-reward scorer)를 배포합니다.
• 도구 실행은 엄격하게 폐쇄 세계의 명명된 기능(closed-world named capabilities)으로 제한되며, 임의의 코드나 셸을 사용하지 않습니다.
• 다중 에이전트 서브 체인은 기본적으로 순차적으로 실행됩니다 (CPU 우선의 정직한 방식).
• RAG의 핵심 인덱스는 처음부터 구축된 순수 Rust 그래프이며, 핵심 인덱스에 외부 벡터 DB를 사용하지 않습니다.
• 비디오는 시각 전용 H.264 MP4 형식이며, 오디오는 WAV PCM만 지원합니다. 문서도 픽셀 기반입니다 (OCR 기능 없음).
• 서버는 기본적으로 로컬/단일 모델 방식이며, Phase 51은 다중 테넌트 셀프 호스팅을 가능하게 만들 뿐, 호스팅된 제품이 아닙니다. 따라서 청구(billing)나 자동 스케일링(auto-scaling) 기능이 없습니다.
• v4.0.0이 최종 계획 버전이며, v5 로드맵은 존재하지 않습니다.

로드맵에서 전체 제외 사항을 확인하십시오.

기여 및 보안 (Contributing And Security)

풀 리퀘스트(pull request)를 열기 전에 CONTRIBUTING.md를 읽어보십시오. 재현 가능한 버그나 범위가 지정된 기능 요청은 GitHub 이슈를 사용하십시오. 취약점은 공개 이슈가 아닌 SECURITY.md를 통해 보고해 주십시오.

인용 (Citation)

@software{aarambh_studio_2026,
  title   = {aarambh-studio: A Ground-Up Language Model System in Rust},
  author  = {Aarambh Dev Hub},
... 

라이선스 (License)

Apache License 2.0에 따라 라이선스가 부여되었습니다.