텔레메트리 데이터: 0.00 GB 활성 VRAM으로 284B MoE 실행

매우 제한적인 범용 하드웨어 환경에서 프론티어급 모델(frontier-scale model) 실행을 평가하는 아키텍처 테스트의 하드웨어 텔레메트리(telemetry) 데이터를 공유하고자 합니다.

오픈 소스 진단 환경을 사용하여, 커스텀 레이어 스트리밍(layer-streaming) 구성 하에서 284B 파라미터 Mixture-of-Experts (MoE) 아키텍처(DeepSeek-V4-Flash)를 벤치마킹했습니다. 활성 실행 그래프(active execution graph)를 레이어별로 격리하고 직접 메모리 매핑 루프(direct memory-mapping loops)를 활용함으로써, 시스템은 표준 VRAM 병목 현상을 완전히 우회할 수 있었습니다.

📊 검증된 성능 임계값:

• 최대 활성 GPU VRAM: 0.00 GB (물리적 가중치 저장소와 활성 로컬 그래픽 할당을 성공적으로 분리함).
• 최대 호스트 시스템 RAM: 19.28 GB (거대한 레이어 스트리밍 파일 풋프린트를 표준 소비자용 제한 범위 내에서 완전히 실행함).
• 최적화 프레임워크: 저오버헤드 예측 게이팅 휴리스틱(low-overhead predictive gating heuristics)과 하이브리드 FP4/FP8 양자화(quantization) 엔진의 결합.

동료 검토(peer auditing)를 위해 전체 벤치마크 하네스(harness), 베이스라인 토크나이저 파이프라인 및 진단 환경 루프가 MIT 라이선스 하에 오픈 소스로 공개되어 있습니다:
👉 https://github.com/Aubyte-Admin/layer-streaming-telemetry-benchmark

기저 시스템 아키텍처, 특히 엔진이 데이터 전송 스케줄링 중 NVMe 읽기 지연 시간(read-latency) 급증을 완화하는 방법에 대한 심층 분석은 Medium에 게시된 저의 종합 기술 백서를 통해 확인하실 수 있습니다:
👉 https://medium.com/@britzbernu