언어 모델에 세부 동작을 파악할 수 있는 3D 모델을 만들어 달라고 한 접근이 마음에 듦. 시스템을 시각화하면 구조와 동작을 훨씬 쉽게 이해할 수 있으니, 모든 AI 모델에 상호작용 가능한 아키텍처 애니메이션이 있으면 좋겠음.
개인 프로젝트에서 차별화를 위해 여러 책을 데이터로 사용한 것도 좋지만, 다른 이들이 사용한 데이터셋을 쓰면 결과를 더 직접적으로 비교할 수 있다는 장점도 있음. 자세한 설명과 마지막 출력 예시가 유익해서, 내가 학습 중인 1천만 매개변수 미만의 소형 모델에 무엇을 적용할 수 있을지 기대됨.
Fedora와 ROCm으로 로컬 학습을 돌리려고 한동안 애썼는데, RX 7600 XT 16GB에서 처음부터 끝까지 실행된 첫 프로젝트임. 딥러닝과 모델을 실험하려고 산 카드라 이제 출발점이 생겨 반가움. CUDA를 사용하지 않으니 의외로 ROCm과 JAX가 바로 맞물려 작동함.
7600 XT에서는 환경 변수 두 개가 필요함. JAX 플러그인이 gfx1102를 거부해서 HSA_OVERRIDE_GFX_VERSION=11.0.0을 설정했고, GPU 멈춤을 막으려면 XLA_FLAGS=--xla_gpu_enable_triton_gemm=false도 설정해야 함.
Fedora 45의 커널 내장 amdgpu 드라이버, 루트 권한 없이 실행하는 Podman, AMD의 rocm/jax 이미지(ROCm 10.1, JAX 0.11.1)를 사용 중임. 호스트에는 ROCm 관련 구성요소를 전혀 설치하지 않아도 됨.
컨테이너 설정은 PR에 올려둠: https://github.com/Vaibhaav-Tiwari/deepseek-v3-jax/pull/1.
DeepSeek V3의 핵심 아이디어 세 가지가 실제로 어떤 차이를 만드는지 이해하려고 순수 JAX로 처음부터 구현함. 다중 헤드 잠재 어텐션(MLA), 보조 손실 대신 편향 기반 부하 분산을 적용한 전문가 혼합(MoE), 다중 토큰 예측이며, 모델 코드는 약 190줄임. 매개변수 3,620만 개인 모델을 MacBook Air M5(24GB)에서 jax-metal로 학습함. 오래된 추리소설 207권을 사용했으며, 12,000단계 학습에 약 2.6시간이 걸림.
도식과 결과를 담은 전체 글은 https://vaibhaav.in/writing/deepseek-v3-jax/에서 볼 수 있음. v1.0 릴리스에 학습된 체크포인트와 실제 사용한 데이터를 넣어뒀으니, 따로 학습하지 않고도 텍스트 생성이 가능함. 잘못 구현한 부분이 있다면 정정을 환영함.