Cerebras는 사양만 보면 좋지만, 내가 현실적으로 쓸 수 있는 모델은 GPT OSS 120b와 Qwen 3.8 27B뿐이고 둘 다 용도에 잘 맞지 않음. OpenRouter의 nitro를 쓰면 요구는 충족하지만 초당 토큰 수는 여전히 5분의 1 수준임.
Cerebras에서 GPT OSS 120b를 돌려 보니 속도는 엄청나지만, 답은 대부분 틀림.
GPT-5.6 Sol Ultrafast는 Cerebras 하드웨어에서 실행됨.
지금은 없어진 코딩 요금제 구독자였는데, 당시 초당 1,000토큰은 독보적이었음. 하지만 이제 비슷한 토큰 생성 속도에서 Mercury 3가 비용과 성능 모두 Cerebras의 Qwen 3.8을 압도함. 별도 계약을 맺은 기업이 아니라면 쓸 이유가 별로 없음.
전체 정밀도 벤치마크를 인용해 놓고, 정작 사용하는 건 4비트 양자화임.
하드웨어를 잘 아는 분께 묻고 싶은 게 생김. Cerebras 칩은 PE라는 코어들의 2차원 메시로 나뉘고, 각 코어가 두 축을 따라 데이터를 보내면서 인접한 네 코어와 일정한 통신 타이밍을 유지한다고 함. 그림에서는 계층들이 왼쪽에서 오른쪽으로 흐르는데, 실제로도 그런지, 대각선이나 다른 배치가 데이터 흐름에 더 적합하지는 않은지 궁금함.
CPU와 GPU도 이런 코어 간 연결이나 스트리밍 요구가 같지 않은데 정사각형 타일 배치를 자주 사용함. 전력·발열·타이밍 조건을 유지하면서 코어 내부 일부를 옮겨 정사각형에 맞출 수는 있겠지만, 왜 굳이 정사각형으로 제한하는지 궁금함. 코어보다 큰 단위의 배치에서는 연결 타이밍, 비볼록 타일링, 입출력까지의 거리 등을 최적화할 가치가 별로 없는 건가?
Cerebras 같은 스트리밍 구조라면 입력 3개와 출력 3개를 둘 수 있는 육각형 격자나, 정사각형에 긴 대각선 연결을 추가한 8방향 연결도 가능하지 않을까? 칩 내부의 작은 단위부터 전체 구조까지 정사각형 타일링을 반복해서 사용하는 데에는 어떤 절충이 작용하는지 궁금함.
2차원 격자는 배치, 시퀀스, 은닉 차원 등 원하는 텐서 차원을 기준으로 PE들에 작업을 나누기 좋음. 각 PE의 코드도 이웃에게 데이터를 받고, 담당 부분 텐서를 계산하고, 이웃에게 보내는 정도로 단순해짐. 어느 축으로든 브로드캐스트와 리덕션을 구현할 수 있음.
칩 설계에 쓰는 EDA 도구가 대각선 배선을 지원하지 않아서, 육각형 격자는 사실상 배제됨. 수평·수직 배선만 쓰면 직사각형이나 정사각형 격자, 또는 링 구조로 귀결됨.
이번 주 프로젝트에 Cerebras의 27B 모델을 써 봤는데, 초당 2,000토큰만 나온다면 딱 맞을 것 같음. 아쉽게도 내가 원하는 초당 2,000토큰 속도는 나오지 않음.
OpenRouter.ai나 다른 라우터·게이트웨이를 통해 평가 중인가? 이런 서비스들은 이유는 모르겠지만 Groq·Cerebras 수준의 추론 속도를 따라가지 못함.
어떤 용도로 사용 중인가?
설명한 배치 처리의 이점도 누릴 수 없음. Nvidia나 AMD GPU와 달리, 순차 처리든 병렬 처리든 토큰마다 비용을 내야 하기 때문임.
동시 요청들이 GPU 배치와 달리 서로 끝나기를 기다리지 않고 파이프라인을 계속 흐른다는데, GPU 배치와 다르다는 게 무슨 뜻인가? GPU의 하드웨어 제약은 아니지 않나? 소프트웨어에서 이를 지원할 기반이 없다는 뜻인가?
다른 종류의 병렬화인 파이프라인 병렬화를 설명하는 것임. Cerebras는 신경망을 웨이퍼 공간에 펼쳐 배치하므로 가중치는 고정되고 활성값이 이동함. GPU는 신경망을 한 계층씩 처리하며, 추론에서는 주로 텐서 병렬화나 전문가 병렬화도 사용함. GPU 추론에서는 파이프라인 병렬화가 그다지 유용하지 않음.
이 스레드의 xpct 댓글을 보면, 중앙 클록이나 작업 배분 없이 코어들을 타일처럼 배치해 사실상 아주 깊고 넓은 파이프라인을 만드는 듯함. 중앙집중식으로 구성된 GPU도 이론적으로는 이를 흉내 낼 수 있겠지만, 전송 오버헤드가 생길 것 같음. 다만 추측임.
KV 캐시 크기에 따라 동시 요청 수가 제한되는 계산을 보여 줬음. 새 요청이 대기열에 들어올 때마다 해당 문맥의 KV 캐시를 별도 저장 서버에서 가져와야 한다면, 여러 요청의 활성 캐시를 보관할 서버에는 엄청난 RAM이 필요하지 않을까?
저장 서버보다는 어텐션 서버에 가까움. 자체 메모리에 KV 캐시를 보관하면서 자체 연산 자원으로 어텐션도 수행하는 서버임.
이렇게 하면 어텐션 계산 때마다 캐시 항목을 서버 사이에서 전송할 필요 없이 요청과 응답만 주고받으면 됨. 어텐션에 필요한 메모리 대역폭은 서버 내부에서 처리됨.
웨이퍼가 꽤 커 보이는데 메모리가 44GB뿐이라니 놀라움. 하드웨어 전문가는 아니지만, 웨이퍼 하나라면 훨씬 많은 메모리가 들어갈 줄 알았는데 좀 적지 않나?
앞서 소개한 양자화 방식도 어처구니없음. 적어도 게이트웨이로 써 보면 대부분의 모델이 더 멍청해짐.
CEO는 LinkedIn에 지나치게 매달리고, X에서의 개발자 관계 활동도 형편없어 이상한 회사로 보임. 클라우드 서비스 제공업체들은 각자 칩이 있어 협력하기 어렵고, 소비자용 제품도 없음. 신생 GPU 클라우드 업체들도 개발 시간과 고객 자금을 걸기에는 부담스러워 도입하려 하지 않을 것 같음.
내가 알기로는 수요와 계약 물량이 생산·확장 역량을 넘어서는 상황임. 뭔가는 잘하고 있는 것 아닐까?
WSE-3T 웨이퍼당 평균 소비 전력이 20kW라면 전체 시스템은 약 1.18MW임. 초당 1,500토큰에 동시 요청 190개를 가정하면 토큰당 4.1J가 나옴. 모델 크기를 고려하면 괜찮은 수치 아닐까?
직접 비교하기는 어렵지만, 최신 Bitcoin 채굴 칩이 약 13J/TH이므로 토큰 하나는 약 0.32TH, 즉 이중 SHA-256 채굴 연산 3,200억 회에 해당함. 땅콩 한 알도 약 4,200J이니, 이를 효율적으로 전기로 바꿀 수 있다면 이 칩에서 거의 정확히 1,000토큰을 생성할 수 있음. 단지 규모를 가늠하기 위한 비교이며, 특별히 뭔가를 입증하려는 건 아님.