DeepSeek-V4-Flash-0731을 Radeon AI PRO R9700 4개 카드에 적용한 결과: '거부'되었던 4카드 구성이 작동하며

몇 주 전 u/neuromacmd의 게시물(https://www.reddit.com/r/LocalLLaMA/comments/1wod07t/)에 대한 후속 내용입니다. affinity 엔진(https://codeberg.org/StillDeadcode/affinity)은 작성자가 카드 두 개만 가지고 있었고, 그 위에 4개의 순위(ranks)를 시뮬레이션하여 설명할 수 없는 반복 토큰 쓰레기만 얻었기 때문에 두 개 이상의 카드에서는 시작을 거부합니다. 아무도 실제 R9700 네 개 장치에 대해 시도해 본 적이 없었습니다. 저는 네 개가 있으므로 오늘 밤 시도했습니다. 간단히 말해서, 그냥 작동합니다.

설정: Threadripper PRO 9955WX, RAM 128 GB, R9700 네 개 장치 모두 CPU 레인에 연결하고 각 쌍 사이에 P2P(Peer-to-Peer)을 구성했습니다. 안정성 수정이 적용된 포크(https://github.com/neuromaniacMD/affinity , 브랜치 v4-fixes)를 빌드하여 사용했고, 미리 구축된 2.875 bpw 양자화 모델(https://huggingface.co/neuromaniacmd/DeepSeek-V4-Flash-0731-affinity-2.875bpw)을 사용했기 때문에 149 GB 다운로드나 2.5시간의 양자화 과정이 필요하지 않았습니다. 그리고 AFF_ALLOW_NRANK=1 --gpus 4를 실행했습니다.

결과: 같은 장비, 같은 프롬프트:

• 카드 2개: 디코드 속도 36 tok/s.
  전문가(experts)의 45%가 VRAM에 들어가고 나머지는 51 GB 고정 호스트 풀에서 스트리밍되며, 프로파일러는 모든 토큰 중 82%가 이 스트림을 기다리고 있음을 보여줍니다.
• 카드 4개: 그리디(greedy) 모드에서 79 tok/s, temp 1.0에서 63 tok/s, 생각하는 과정이 포함된 채팅 답변에서는 약 90 tok/s입니다. 모든 11,008개의 전문가가 상주하며 호스트 풀조차 할당되지 않았습니다.

총 다섯 번의 실행(그리디 및 샘플링)과 채팅 서버 테스트를 진행했습니다. 퇴화된 출력물은 없었습니다. 엔진 자체의 교차-순위 확인(몇 개의 샘플마다 카드를 서로 비교함)도 매번 통과했습니다. 따라서 작성자가 겪었던 버그는 4개 장치에 대한 2개 카드 시뮬레이션에 있는 것이지, 4개 순위 실행에 있는 것이 아닙니다. u/neuromacmd가 이미 이를 의심했었습니다.

시도할 때 알아야 할 두 가지 사항이 있습니다:

1. 기본 열 배치 전략(default heat placement strategy)은 더 이상 낮출(demote) 것이 없기 때문에 4개 카드에서

또한 해당 스레드에서 제가 이전에 남긴 댓글을 수정합니다: 저는 Affinity의 어피니티(affinity)가 패치하기 전 Radiance가 사용했던 2랭크 전용 올-리듀스(all-reduce) 방식이라고 가정했습니다 (https://github.com/brainchillz/r9700-tp4-allreduce, https://github.com/jdrews/vllm-mxfp4/pull/2). 잘못된 추측이었습니다. Affinity의 콜렉티브(collective)는 이미 N 랭크용으로 작성되었으며 3개, 4개, 8개에서 테스트되었습니다. 제한은 순전히 설명할 수 없는 쓰레기 데이터였을 뿐이며, 실제 하드웨어에서는 발생하지 않습니다. 이 내용을 당분간 남겨두겠습니다. 만약 저자나 다른 분들이 더 많은 데이터를 원하시면 이 박스(box)를 이용해 다른 것을 실행하는 것도 기꺼이 하겠습니다. 유용하다면 로그도 사용할 수 있습니다. /u/brainchillzZ가 제출했습니다 [링크] [댓글]