예산으로 LLM 구동하기 파트 2: P102-100에서 CMP 50HX로

GPU를 업그레이드하게 되었습니다. 먼저 경고할 말이 있습니다. P520에서 GPU를 업그레이드할 때는 카드를 장착하거나 분리할 때 항상 직선 각도로 매우 조심해야 합니다. 그 이유는 카드 슬롯이 메탈 케이스에 삽입되는 부분으로부터 약 1/4인치 떨어진 곳에 작은 부품들이 있고, 그 사이 공간이 좁기 때문에 잘못된 움직임만으로도 이 부품들을 긁어내서 새것을 사야 할 수도 있기 때문입니다. 제가 어떻게 아는지 묻지 마세요 LOL. 다행히 메인보드를 교체하는 데는 50달러밖에 들지 않았습니다.

저는 P102-100 네 개를 대체하기 위해 CMP 50HX 네 개를 구매했습니다. P102-100은 각각 35달러였기 때문에 40GB VRAM을 얻는 데 140달러가 들었고, 제가 산 CMP는 개당 80달러였으므로 총 4개에 360달러가 들었습니다. 글을 쓰는 시점 기준으로 CMP 50HX는 카드당 200달러입니다.

현재 4개 카드 구성을 위해 부품을 기다리는 동안 두 장치의 벤치마크 결과를 공유합니다.
https://preview.redd.it/0opibjv3emrh1.png?width=1225&format=png&auto=webp&s=34bbcecd2aac14b3482b0757fecc56cf873e9695

저에게는 정말 가치가 있었습니다. 360달러로 모든 로컬 모델을 좋은 속도로 구동할 수 있게 되었기 때문입니다. 이 카드들은 8W에서 유휴 상태를 유지하는데, 이것이 제가 이 카드를 구매한 주요 이유 중 하나였습니다. 저는 좋은 결과를 얻기 위해 쓸데없는 돈을 쓸 필요가 없다고 확신하는 사람입니다.

만약 구매를 결정한다면, 활성화하기 위해 다음 것이 필요할 것입니다.
https://github.com/xrip/cmp50hx-unlock

P102-100이 장착된 다른 서버는 이제 에이전트와 워크플로우를 위한 제가 미세 조정하고 최적화한 모든 모델을 제공합니다. 온라인에서 Runpod 같은 다른 제공업체를 사용하여 이를 하는 데 모델당 3~5달러가 들었습니다. 저는 연간 10개의 모델만 하므로, 미세 조정 및 최적화에 연간 50달러가 듭니다. 필요하지 않은데 수천 달러를 쓸 수는 없습니다.

질문이 있으면 알려주세요.
/u/Boricua-vet 작성