MI354X 8개를 시간당 10달러도 안 되는 가격에 빌려줘서 설비투자를 어떻게 회수할 수 있는지 의문임
기본 시스템, 전력 등 모든 비용을 빼도 연간 청구 가능액은 365일 × 24시간 × $2.95 = $25,842에 불과해 1년은커녕 3년 내에도 손익이 맞지 않고, 장비 수명 동안 원금을 회수할 수 있을지도 불확실함

MI354X 8개가 시간당 10달러 미만이라는 가격은 어디에 있는지 모르겠음. 찾을 수 있는 건 MI355X 1개당 $2.50이고, 다른 사이트의 최저 대여가는 $2.65지만 더 좋은 계약을 맺었을 가능성은 있음

실제로 그렇게 싸게 빌려주는 곳이 있는지 의문임. 온라인에서 찾은 가장 저렴한 온디맨드 가격도 $14이고 대부분은 훨씬 비쌈

사실이라고 보기 어려움. Modal은 RTX 6000 Pro도 그보다 비싸게 빌려줌
Nvidia는 자사 GPU 구매 고객에게 저렴한 고정 대여 요금을 제공하는데, AMD에도 다른 형태의 보조금 프로그램이 있을 수 있음. 여기서는 MI355X가 유난히 저렴함

다음 대목은 설정과 벤치마크에 AI의 도움을 받은 것처럼 들림 헤드 수를 12→16으로 제로 패딩하고 빠른 커널을 실행한 뒤 실제 12개 헤드를 출력에서 추출했다고 하는데, 최근 ChatGPT 5.6 Sol ultra로 더 작은 로컬 모델을 설정했을 때 성능 최적화 후 모델이 한 글자만 반복하는 등 완전히 망가졌음
이 설정이 지원 하드웨어에 Kimi K3를 기본 설치한 것처럼 여전히 정상적으로 동작하는지, 정확성 벤치마크도 실행했는지 궁금함

Sol은 써보지 않았지만 Claude로 작업별 로컬 모델 설정과 벤치마크를 자주 수행하며, 매우 꼼꼼하고 항상 좋은 구성을 내놓았음. 다만 반드시 모델 카드를 알려줘야 하며, 학습 기준일 이후에 나온 모델의 존재를 잘 믿지 못함
K3도 설정은 무난하지만 구성 탐색이 덜 철저하고 몇 가지 옵션만 조정한 뒤 최적 구성을 찾았다고 자신 있게 단정함. 자기 결과를 과대평가하고 벤치마크에서 방어적으로 굴어 평가자로는 좋지 않지만, 새 세션에서 결과의 출처를 숨기고 교차 확인하는 용도로는 쓸 만함
특히 K3는 다른 모델보다 폴더 구조 탐색에 집착함. 프로젝트 폴더에 시험 방법이나 다른 결과의 흔적이 있으면 ls 탐지견처럼 반드시 찾아내므로 벤치마크 전에 외부로 옮겨야 함

Wafer에서 일하고 있으며 실제로 벤치마크를 실행했음. Kimi K3를 OpenRouter에서 서비스하려면 TAU·GPQA 정확도 검사를 거쳐야 하고, 추론·일관성·도구 호출 시험도 통과해야 함

Wafer는 추론 분야에서 스스로를 저품질 AI 콘텐츠와 동의어로 만들고 있음. 결과마다 과장되고 불공정한 비교를 쓰고, X 홍보 글에는 경보 이모지를 남발함 MI355X는 GPU 시간당 $2.50, B300은 $6.00, B200은 $4.25라는 수치는 실제 조건을 반영한 정확한 가격 비교가 아님

Wafer는 토큰 구독 상품 WaferPass를 출시한 뒤 몇 주 만에 지속 불가능하다며 사실상 철회했으면서, 동시에 주목할 만한 추론 효율 개선을 달성했다고 홍보한 회사임

현재 GPU 가격 논의는 대부분 무의미함. 현물 용량이 없는 사업자의 현물 가격을 쓰거나, 재고가 전혀 없는 인스턴스의 시간당 요금을 인용하고, 약정 할인은 무시하기도 함
진지하게 운영하는 곳이라면 이 모델을 B200 8개짜리 한 노드에서 서비스하지 않고 여러 노드를 사용함. Moonshot의 추론 작업도 대부분 프리필·디코드 분리(PD-disaggregation) 에 초점을 맞춤

gpus.io에서 현재 가격은 시간당 $2.95로, 권장소비자가와 실제 시장 가격을 비교하는 셈임. B300은 수요가 많아 더 비싸지만 Wafer 편집진은 실제 소유 기준 총소유비용(TCO) 을 계산하지도, 설정 재현용 코드를 공개하지도 않음
실제 권장소비자가 기준 성능 대비 가격과도 무관한 항목 하나를 이기려고 현재 대여 가격에만 의존함

또 하나의 과학으로 위장한 광고이며, 사실상 Wafer와 AMD를 홍보하는 글임
B300은 단일 스트림에서 약 46%, 전체 처리량에서 65% 빠름. AMD가 이기는 건 Wafer가 처리량을 MI355X 시간당 $2.50, B300 $6라는 선별된 클라우드 대여료로 나눈 뒤뿐임
벤치마크는 재현할 수 없고 전력 비용이 빠졌으며 ROCm도 패치된 상태임. 특정 크기의 특정 모델을 더 경제적으로 서비스할 수는 있겠지만, 특히 Wafer 자신에게 유리한 결과임

사회 전체가 이런 모델을 서비스하는 데 수백억 달러를 쓰고 있으니, 꽤 흥미로운 광고이기는 함

AMD MI355X는 대체 어떻게 구매할 수 있는지 궁금함

이 모델들을 오픈소스 모델이라고 부르지 않았으면 함. 학습 데이터와 학습 도구를 공개하지 않았고 가중치만 공개했으므로, 이미 널리 합의된 표현인 오픈 가중치 모델이 적절함

source라는 말에 정확히 어디까지 데이터가 포함되는지 의문임. 학습 알고리즘과 소프트웨어를 제공하지 않아 오픈소스라고 부르기 싫다는 건 이해하지만, 학습 데이터까지 요구하는 건 전혀 다른 문제임

이 구분법은 2022년쯤에는 타당했을 수 있지만, 지금의 모델 학습은 데이터를 넣고 도구를 실행하면 모델이 나오는 단순한 과정이 아님
무엇이 되고 안 되는지 완전히 이해하지 못한 채 수시로 즉흥 대응하는 연금술에 가까운 과정이며, 수채화를 그리는 것과 비슷함. 다만 정상 상태로 되돌릴 수 있다는 장점은 있음

학습 데이터와 코드를 공개하되 사용자가 신경망을 직접 학습해야 한다면 그것도 오픈소스인지 궁금함

전체 과정을 공개해 사용자가 원하는 대로 수정할 수 있어야 오픈소스이고, 지금 형태는 오픈 가중치가 맞음

좋은 작업을 했다면 적어도 그 작업을 소개하는 저품질 문서의 허술함은 검토해야 함. 특히 프리필 부분 때문에 진지하게 받아들이기 어려움

콘텐츠 품질보다 텍스트와 배경의 끔찍한 명암비가 더 문제임. B300보다 빠르게 눈을 태울 것 같음

wafer.ai가 너무 성의 없이 작성한 글임. 표의 모든 항목에서 B300이 MI355X를 이김
디코드 속도는 스트림당 118 대 172토큰/초, 최대 전체 처리량은 952 대 1,568토큰/초, GPU당 최대 처리량은 119 대 196토큰/초임
B200에는 단일 노드 메모리에 들어가지 않는 대상을 억지로 비교하면서 다중 노드 연결이나 분리형 구성에 대한 설명도 거의 없음. AMD가 이긴 유일한 항목은 한 대여 가격 집계 사이트의 시간당 비용이며, 시간당 3달러짜리 AMD 칩을 충분히 보유한 사업자도 없음
하드웨어를 직접 소유할 때의 총소유비용도 계산하지 않았음

B200 수치가 낮은 건 디코드 핵심 경로에서 노드 간 전체 합산(all-reduce) 비용을 부담하기 때문이라는 절도 있음. 약 195Gb/s의 RoCE v2로 두 노드에 걸친 유일한 구성임