Hierarchos Native 업데이트: Intel HD 520에서 더 빠른 스트리밍 구현, RDNA3 인증 및 GPT-2 패리티 수정

저는 언어 모델 학습(training), 미세 조정(fine-tuning), 추론(inference)을 위한 Rust + Vulkan 백엔드인 Hierarchos Native에 대대적인 업데이트를 적용했습니다. 지난주에는 최근의 RDNA3 작업을 Intel Gen9으로 포팅하고, 파라미터 스트리밍을 개선하며, 변경 사항들을 물리적 RDNA3 하드웨어로 가져와 회귀 테스트(regression testing)를 수행하는 데 중점을 두었습니다. 이 네이티브 런타임은 Python, PyTorch, CUDA, ROCm 또는 oneAPI 설치가 필요하지 않습니다. PyTorch와 Transformers는 개발 참고용으로 사용됩니다.

변경 사항:

• DeepSeek V4.1 Flash 포팅 및 최적화 작업: 선택된 전문가 실행(selected-expert execution) 통합, 배치형 전문가 업로드(batched expert uploads), 패킹 가중치 경로(packed-weight paths), 체크포인트 캐싱(checkpoint caching), 그리고 저장/재개/내보내기 기능을 갖춘 네이티브 LoRA/rsLoRA 학습을 구현했습니다.
• 광범위한 Gen9 커버리지: Qwen3-Next 패딩 및 DBRX 전문가 레이아웃에 대한 수정 사항과, T5/BART/Switch 인코더-디코더 프로젝션에 대한 스트리밍 경로가 추가되었습니다.
• 스트리밍 오버헤드 감소: 파일 핸들 유지(retained file handles), 임시 할당 감소(fewer temporary allocations), 병합 읽기(coalesced reads) 구현, 그리고 사용되지 않던 은닉 상태 다운로드(hidden-state download) 제거를 통해 효율성을 높였습니다.
• Gen9 커널 개선: 병렬 희소 어텐션 선택(parallel sparse-attention selection) 및 하이퍼 연결 통계(hyper-connection statistics), 그리고 통합된 SiLU/업-프로젝션 곱셈(fused SiLU/up-projection multiplication)을 추가했습니다.
• 제한적 업로드 배치 처리: 작은 스트리밍 프로젝션들이 1 MiB 병합 페이로드 창 내에서 GPU 제출(GPU submission)을 공유할 수 있게 되었습니다.

가장 큰 Gen9 결과는 i5-6200U / Intel HD Graphics 520 환경에서 Llama 전반의 스트리밍 속도 저하 문제를 해결한 것입니다:

이는 측정된 모든 토큰(logit word)이 변하지 않았음에도 불구하고 지연 시간이 58.3% 낮아진 수치입니다. 여덟 가지 스케일 아키텍처 제어 전반에 걸쳐, 결합 최적화 패스는 스트리밍 중앙값을 기존 기준선 대비 42.4–78.4% 감소시켰고, 상주 중앙값(resident medians)을 3.5–32.1% 감소시켰습니다.

Gen9 측정 및 방법론:
Ryzen Z1 Extreme / RDNA3 장치로 다시 돌아와서, 회귀 검사 과정에서 패딩된 GPT-2의 수치적 패리티 문제(numerical parity issue)가 발견되었습니다. 이 수정 사항은 고정된 CPU 참조 값의 GELU/tanh 동작 및 짧은 행 어텐션 산술(short-row attention arithmetic)과 일치합니다.

원래의 CPU 예상치(expectations), 체크포인트, 그리고 엄격한 허용 오차는 변경되지 않았습니다. 완료된 RDNA3 자격 검증은 이제 통과했습니다: 26개 아키텍처 식별자를 포괄하는 43개의 스케일링 프로필에 걸쳐 166/166 순방향 실행(forward runs)을 수행했습니다. 캐시 요청 및 전체 접두사 실행을 확인하는 72/72 생성 요청도 완료되었습니다. 최대 절대 CPU 로짓 오류는 rtol=0 일 때 2e-7보다 엄격하게 낮았으며, 측정된 매트릭스 전체에서 비트가 동일한(Bit-identical) 레지던트 및 스트리밍 출력을 보였습니다. 네이티브 스트리밍/오프로드 테스트와 GPT-2 LoRA 기울기(gradient), 옵티마이저(optimizer), 저장/재로드, 그리고 재개 확인을 수행했습니다. GPT-2 수정은 특히 RDNA3를 위해 선택되었으며, 기존의 모든 585개 셰이더 바이너리는 변경되지 않았습니다. 최종 GPT-2 폐쇄 및 증거 자료가 확보되었습니다.

RDNA3 테스트는 또한 이전 핸드오프 대비 더 낮은 V4.1 지연 시간(latency)을 기록했습니다: 레지던트 프리필(resident prefill)의 경우 24.4%, 레지던트 디코드(resident decode)의 경우 50.2%, 스트리밍 프리필(streamed prefill)의 경우 17.2%, 그리고 스트리밍 디코드(streamed decode)의 경우 18.4%였습니다. 이 수치들은 프로덕션 모델 처리량(throughput) 수치가 아니라 보존된 스케일링 체크포인트에 대한 측정값입니다.

RDNA3 측정 결과. 파라미터는 기본적으로 레지던트 상태를 유지하며, 지원되는 고정 가중치 스트리밍(frozen-weight streaming)은 --stream-parameters 또는 GUI를 통해 선택적 활성화(opt-in)가 가능합니다. 레지스트리에는 146개의 텍스트 아키텍처가 포함되어 있지만, 이번 자격 검증은 위에 언급된 26개 식별자에만 국한됩니다. 멀티모달 타워와 임의의 프로덕션 체크포인트는 별도의 검증이 필요합니다.

만약 구형 Intel 그래픽 또는 AMD 하드웨어에서 네이티브 Vulkan 학습(training)이나 추론(inference)을 실험하고 계시다면, 저는 귀하의 결과—그리고 다음에 테스트하기를 원하는 워크로드—에 관심이 있습니다. 제출자: /u/PhysicsDisastrous462 [링크] [댓글]