메모리는 AI 칩 부품 비용의 거의 3분의 2까지 커졌다

AI 추론과 학습은 기술 혁신이 전혀 없어도 하드웨어 비용을 약 3배, 전체 비용을 약 2배 낮출 경로가 있어 보임
DRAM 공급이 수요를 따라잡기만 하면 되고, 제조 확장이든 현재 생산 속도로 수요 급증분을 채우는 것이든 시간이 필요할 뿐임

현재 최첨단 칩의 희소성 때문에 붙은 Nvidia 이익률까지 고려하면, 비용 절감 여지는 훨씬 더 커질 수 있음
Sam Altman이 문화적으로 퍼뜨린 말들 중 비판할 것은 많지만, 장기적으로 보면 “지금이 앞으로 중 최악이다”라는 말은 꽤 흥미롭고 과소평가된 포인트라고 보게 됨
10년 뒤에는 현재 수준의 LLM을 학습시키는 일이 지금 데이터베이스를 운영하는 것만큼 기본 전제가 될 것 같음. 현재 수준도 꽤 고도화됐고, 하드웨어 발전과 별개로 더 나은 강화학습 학습 체계만 만들어도 추가 상승 여지가 많다고 봄
Allen Institute의 GitHub와 HF 프로젝트를 꼭 살펴보길 추천함. Common Crawl로 처음부터 LLM을 학습시키는 자료와 qwen의 흥미로운 튜닝 등 오픈소스 학습 자료가 있어서, 머지않아 오후 프로젝트나 교육 자료가 될 것들이 어떤 모습인지 맛볼 수 있음

메모리 업체들은 수요에 맞춰 공급을 크게 늘리지 않을 것임
이 업계는 시장을 공급 부족 상태로 유지하는 성격이 있고, 그렇지 않으면 뒤따르는 공급 과잉이 업체들을 망가뜨림. 대신 모바일과 개인용 컴퓨팅처럼 수익성이 낮은 영역의 공급이 더 수익성 높은 쪽으로 재배치될 뿐임

Sam Altman이 메모리 시장을 장악하려던 절묘한 수가 예상 못 한 결과를 낳은 것처럼 보임

대체 부동소수점 형식 채택이 늘어날지 궁금함
IEEE 부동소수점은 낮은 비트 폭, 특히 16비트 이하에서 악명 높게 별로임. posit 같은 형식은 16비트나 8비트에서 훨씬 낫다. 값 하나당 32비트 대신 16비트로 학습할 수 있고, IEEE32에서 IEEE16으로 갈 때보다 정확도 손실이 훨씬 작다면 꽤 의미 있음

“GPU” 모듈이나 그 안에 납땜된 DRAM 같은 자본 지출 부품의 수명과 재정비 가능성은 어느 정도인지 궁금함

몇 년 전 96GB RAM을 약 250달러에 샀는데, 같은 RAM이 지금은 1200달러임

작년 10월 22일에 Crucial 96GB DDR5 5600MHz SO-DIMM RAM을 279달러에 샀음
Amazon에서는 지금 같은 키트가 1,048.90달러임

기회가 있을 때 메인 서버를 최대치로 채워두지 않은 게 너무 화남
중고 엔터프라이즈 메모리 모듈이 eBay에서 정말 헐값이었음

1년 전에 192GB DDR3를 문자 그대로 60달러, 모듈당 5달러에 샀음
지금은 모듈당 약 22달러라서 전체로는 350달러쯤 됨. 대체 누가 DDR3로 뭘 하고 있는 건지 모르겠음

수십 GB RAM은 싸게 구할 수 있다는 기존 가정이 완전히 깨짐
Optane 같은 초고속 SSD의 가치가 훨씬 커질 가능성이 있음

차고를 정리하다가 미사용 Samsung EVO 4TB 드라이브 두 개를 발견함

읽는 자료마다 RAM 용량은 연 20~25% 정도 늘어날 것처럼 보이는데, 그 정도로는 충분하지 않아 보임
소비자 용도에서도 휴대폰과 노트북은 RAM이 두 배가 되면 크게 좋아질 것이고, AI 수요는 말할 것도 없이 거대함
이 흐름이 사라질 것 같지 않음. 지금처럼 빠르게 늘지는 않을 수 있지만, 없어지지도 않을 듯함. 메모리 업체들이 스스로를 파산시키고 싶지 않은 이유는 이해하지만, 그 위험을 모델 제공업체나 생태계의 다른 참여자에게 넘겨서 RAM 용량을 연 50%에 가깝게 늘릴 방법이 있어야 할 것 같음

OpenAI 거래만으로도 그런 성장분 2년치를 흡수할 수 있음
경쟁 시장에서 RAM 업체들이 살 사람을 남겨두고 팔지 않는 것은 비효율적임
10월 이전 성장률이 실제로 얼마였는지는 모르지만, 여기 누군가는 알고 있을 듯함

가장 큰 위험은 중국 CXML 쪽이 이득을 보고, 다른 업체들이 방치한 시장을 차지한 뒤 비용이 정상화되기 시작하면 경쟁해서 기존 업체들을 밀어낼 수 있다는 점임
2025% 성장이 부족하다는 데 대해서는, 데이터센터 증설 계획이 벽에 부딪혀 크게 둔화되고 AI 열기가 식는다고 가정하면 아주 동떨어진 수치는 아니라고 봄
단기적으로는 2025%가 충분하지 않을 수 있지만, 올해 안에 AI 증설이 멈추면 공급 부족이 아니라 엄청난 공급 과잉이 생김

이론적으로는 칩 부품에 대한 새로운 선물 시장이 도움이 될 수 있음
DRAM 공급업체들이 그 위험을 헤지할 수 있게 해주기 때문임

최근 기사에 따르면 HBM은 웨이퍼 면적 기준으로 LPDDR보다 3배 비효율적이지만, 대역폭은 3배를 넘음
모두가 컴퓨터를 예컨대 1/3 속도로 덜 사고, 전부 HBM으로 전환하는 것이 이익이라면 어떨까?
연산 성능과 메모리 사이의 격차는 오래전부터 커져 왔고, 어쩌면 고통스럽더라도 HBM으로 전환하는 것이 딱 필요한 일일 수 있음
메모리 대역폭이 낮은 중간급 컴퓨터 3대를 갖는 편이 나을까, 아니면 통계적으로 조금 더 기다려서 모두가 면적 비율상 1/3 속도로 새 컴퓨터를 사되 훨씬 높은 대역폭을 누리는 편이 나을까?

지금 흐름을 보면 게임이나 머신러닝 같은 소비자 시장을 어떻게 감당할지 정말 궁금함
클라우드 게임은 분명 미래에 들어올 것이고, 나 같은 순수주의자만 RTX 5090을 사서 오프라인 게임에 프리미엄을 낼 듯함

장기적으로 클라우드 게임은 피할 수 없음
그래픽 렌더링에 필요한 하드웨어 비용을 소비자 여러 명에게 나눠 상각하고, 사용하지 않을 때 놀리지 않으며, 게임 자산과 함께 POP에 배치하는 편이 경제적으로 더 효율적이기 때문임
충분한 게임 연산이 엣지에서 돌아가면, 지금은 경제적으로 성립하기 어려운 더 기술적으로 진보한 게임도 가능해짐. 지금 그런 게임이 많지 않은 이유는 대부분 클라우드 게임 시장과 채택이 부족하고 그에 따른 기술 노하우도 부족하기 때문이라고 봄
소비자 하드웨어로 하고 싶은 게임을 렌더링하는 비용을 감당하기 어려워지는 순간, 결국 버티던 사람들도 설득되고 이 방식이 자리 잡을 가능성이 큼

가격이 적어도 부분적으로 제정신으로 돌아오기 전까지는 DDR4 빌드에서 넘어가지 않을 것임
예전에 사둔 DDR4 2133MHz 백업 메모리 32GB도 아직 있고, 지금은 3200MHz를 쓰는 중임. 이 말은 CPU 제조사도 내 돈을 못 받는다는 뜻임. 5800X는 당분간 충분하고, 새 GPU를 살 이유도 없음. 물론 B580이 완벽하진 않지만

만약 지금이 앞으로의 최저가라면 어떨까?

이란이 헬륨 공급을 막았다는 점이 매우 아이러니함
동시에 이란은 적국을 흔들기 위해 AI가 만든 저품질 선전물에 의존하고 있음. 역사에서 뒤늦게 드러나는 아이러니 중 하나 같음

AI에 완전히 빠져 있지 않은 게이머와 PC 취미층에게는 정말 끔찍한 시기임

이건 집에서 조립하는 PC 시장을 100% 죽일 것임
내가 게임용 PC를 조립하기 시작했을 때 최상위 그래픽카드는 750뉴질랜드달러였음. 지금은 GPU만 10,000달러이고 RAM에 또 1,000~2,000달러가 듦
예전에는 게임용 PC가 감당 가능한 취미였는데, 이제는 일반 항공 취미가 대안처럼 보일 정도임

오히려 반대라고 봄
단기적으로 취미층이 압박받는 건 맞지만, 최첨단을 밀어붙일 수 있는 자본은 Fortune 500 기업에 비하면 작음. 조만간 취미층도 혜택을 볼 것이고, 특히 시장이 붕괴하면 더 그럴 수 있음

AI에 완전히 빠져 있는 사람들에게도 끔찍한 시기임

하이퍼스케일러들이 왜 더 수직 통합해서 자체 팹을 짓지 않는지 궁금함
팹 하나가 10억 달러라고 해도, 지금은 Nvidia와 다른 업체들에서 칩을 사는 데 수천억 달러를 쓰고 있음

반드시 수직 통합을 해야 하는지는 모르겠고, Apple이 iPhone용 신기술을 확대할 때처럼 생산능력 확대에 직접 자금을 대는 편이 더 나을 수 있음
하지만 하이퍼스케일러와 AI 회사들이 그렇게 하지 않는다는 사실은, 이들이 AI의 미래 수요를 실제로 얼마나 믿는지에 대해 많은 걸 말해줌
AI 회사들은 엄청난 대규모 확장이 필요하다고 주장하지만, 그 확장에 필요한 자본 위험은 떠안으려 하지 않음
칩 제조사들이 발목을 잡는다는 AI 쪽의 슬픈 푸념을 많이 듣지만, 실제로 그 확장을 쉽게 금융 지원할 돈은 누가 갖고 있나? 칩 제조사들은 이 게임을 훨씬 오래 해왔음. Sam Altman이 7조 달러 규모의 팹이 필요하다고 떠들고 다녔을 때, AI 회사들은 터무니없는 주장을 할 준비가 되어 있음을 보여줬고 신뢰를 잃었음
지금 필요한 것은 그들이 쌓아둔 막대한 현금 중 아주 작은 일부를 팹 금융에 직접 흘려보내는 것임

팹은 현존하는 최첨단 기술 중에서도 가장 복잡한 축에 속함
오늘날의 “로켓 과학” 같은 분야이고, 돈만 있다고 되는 일이 아님. 수십억 달러를 날리고도 아무 결과가 없을 가능성이 매우 큼
최근 몇 년간 Intel이 경쟁에 얼마나 고전했는지만 봐도 됨. 그들은 수십 년 동안 이 사업을 해온 회사임

팹은 필요한 노하우가 있어도 짓는 데 몇 년이 걸림
노하우가 없다면 기존 제조사와 경쟁하기 전까지 추가 실험이 더 필요함. 쓸 만한 칩을 생산할 수 있을 즈음에는 공급 부족이 끝났을 수 있음

팹의 평균 마진은 빅테크 회사들의 마진과 비교하면 매우 얇고, 그만큼 위험도 큼
이들이 통합하고 싶어 할 만한 사업은 아닐 가능성이 높음

팹 하나는 150억~200억 달러가 들고, 짓는 데 최소 5년이 걸림
게다가 이 회사들 중 누구도 갖고 있지 않은 전문성이 필요함

일주일 전에 중고 Dell 서버를 샀음
12코어 CPU와 32GB DDR4 ECC RAM이 들어간 전체 장비 가격이, DDR RAM 64GB만 사는 가격과 비슷했음. 이 absurd한 상황이 빨리 끝나길 바람. 그렇지 않으면 고통이 다른 시장에도 번질 것임. 얼마 전 PC 케이스 판매가 40% 넘게 무너졌다는 글을 읽음

AI 거품이 터질 즈음이면 PC 시장은 회복 불가능하게 망가져 있을 것 같은 느낌
“엔터프라이즈” 부품을 만들던 제조사들은 소비자 부품 시장으로 돌아가지 않을 것임. 그때는 시장 자체가 없을 것이기 때문임
그리고 저품질 생성물로 돈을 벌지 못하는 데이터센터가 넘쳐나면, 이들은 SaaS 용도로 재활용될 것임. OnShape 같은 것이 모든 애플리케이션으로 확장되는 식임
대부분의 사용자는 자신이 생성한 모든 것을 클라우드 서비스에 저장하는 데 별로 신경 쓰지 않는 것 같고, 이는 “비싼” 데스크톱이나 노트북 하드웨어를 소유하는 대안으로 쉽게 팔릴 수 있음

다른 관점도 가능함
하이퍼스케일러가 더 많은 RAM을 쓰고 그 RAM이 소비자에게 공급되지 않는다면, 무거운 작업은 전부 클라우드에서 일어난다는 뜻임
왜 하이퍼스케일러와 소비자가 동시에 RAM을 가져야 할까? 소비자는 로컬 모델을 돌리려고 더 많은 RAM을 원하겠지만, 그러면 하이퍼스케일러의 용량은 놀게 됨

메모리 제조사들은 지식재산권을 산더미처럼 쥐고 있음
그래서 누군가 여분의 팹 용량을 갖고 메모리 제조에 뛰어들고 싶어도, 엄청난 특허 장벽과 싸워야 함
대부분의 메모리 회사들은 서로의 특허 침해를 주고받아 상쇄하는 뒷거래를 맺고 있음
신규 메모리 제조사가 라이선스 비용에 가라앉지 않고 어떻게 생겨날 수 있는지 잘 모르겠음