로컬 Qwen3.8FN 에이전트가 클라우드보다 훨씬 저렴합니다

요약: 제가 사는 곳의 전력 요금 기준으로 볼 때, Qwen3.8FN Q4를 로컬에서 실행하는 것이 Luna와 최신 Haiku 모델을 제외한 모든 클라우드 모델보다 저렴하며, 특히 비피크 시간대에는 가장 저렴한 모델이 됩니다. 이러한 다양한 가격대를 아우르거나 적어도 피크 시간을 피하도록 선택하는 에이전트 실행은 전반적으로 더 저렴할 수 있습니다.

하드웨어: NVIDIA Tesla P40 (24 GB), Xeon Silver CPU, 그리고 200GB 내외의 ECC DDR4 LRDIMM RAM. 최대 부하 상태에서도 전체 시스템 전력 소비는 250W를 넘지 않으며 팬 소리가 매우 커집니다. 몇 년 전 Newegg에서 할인된 가격에 구매했지만, 박스가 대부분 비어 있었기 때문에 제가 직접 RAM과 SSD로 채워 넣어야 했습니다. 하지만 이미 비용을 지불한 것이죠. GPU는 이번 여름에 ebay에서 250 USD를 주고 구했습니다. 좋은 할인을 찾지 못한다면 ebay 부품들만으로도 서버 전체를 구축할 수 있습니다.

이 에이전트의 이름은 Drax입니다. 그는 '위대한 느린 왕(Great Slow King)'이기 때문이며, 다른 분들이 이 문학적 레퍼런스를 알아주셨으면 합니다 (마블 관련 이야기는 아닙니다). 아래에 있는 숫자와 일부 텍스트는 ChatGPT에서 가져온 것입니다.

소프트웨어: 제가 만든 것입니다. 에이전트 기능과 효율성 모두를 염두에 두고 설계되었습니다. 이 에이전트는 고장 날 때까지 또는 작업이 완료될 때까지 실행할 수 있습니다. (혹시 걱정하시는 분들을 위해: 강력하게 제한되고 비상 종료 스위치가 있습니다.) Drax는 약 130k의 컨텍스트 크기를 가지며, >90%의 프롬프트 캐시 활용률을 달성합니다 (ChatGPT에게 보여준 것은 신규 실행의 처음 몇 번의 대화 내용일 뿐입니다. 일반적으로 로컬과 클라우드 모두에서 동일한 에이전트 소프트웨어를 사용할 경우 >98%를 확인합니다).

제가 사는 온타리오 지역의 전력 비용은 CAD 기준으로 다음과 같습니다: 비피크 시간대 9.8¢/kWh, 중간 피크 시간대 15.7¢/kWh, 그리고 최대 피크 시간대 20.3¢/kWh입니다. 이보다 더 낮은 비피크 요금도 있지만 저는 그 플랜을 사용하고 있지 않습니다.

오늘 날짜(203,620 캐시 입력 토큰, 16,668 신규 입력, 3,204 출력)를 기준으로 10턴 샘플을 위해 다음과 같은 비용이 발생했습니다: GPT-6 Luna API 동등 비용: C$0.0336 (캐싱 없음), C$0.0081 (캐싱 사용) Claude Haiku 5.5: Luna 로컬 전력과 동일합니다 (둘 다 캐싱 사용): 피크 시 C$0.014, 중간 피크 시 C$0.0109, 비피크 시 C$0.0068 GPT-6 Sol: C$0.6719 / C$0.1627 Claude Sonnet 4.6: C$1.0077 / C$0.2440 Claude Opus 4.6: C$1.6795 / C$0.4067 GPT6-Astra: C$3.3591 / $0.8133 이 특정 모델로의 성능: 저는 토큰/초(tok/sec)는 다소 오해를 불러일으킨다고 생각해서 수치 이야기는 그만하려 합니다. 그래서 벽 시간(wall time)과 작업 품질에 대해 이야기하겠습니다. Claude 모델들이 저에게 너무 많은 비용을 발생시키기 때문에, 저는 그것들을 완료될 때까지 실행하지 않습니다 (그리고 저는 GPTs를 사용하지 않기 때문에 비교할 수 없지만, 공개 채팅 앱은 사용합니다). 따라서 제 에이전트가 Opus 두뇌나 Fable 두뇌를 가지고 있다면, 그들은 계획(plan) 전체 과정(또는 적어도 명세에 따라 작성하고 이행하는 것, 저는 spec driven dev를 사용하기 때문에), 실행(execute), 테스트(test), 검토(review), 수정(fix), 어떤 것이든 최종 보고서까지 거치지 못합니다. 하지만 Drax는 합니다. Drax는 저에게 너무 적은 비용이 들기 때문에, 제가 그가 완전히 끝낼 때까지 하루 종일 무언가에 대해 실행하도록 둡니다. 벽 시간은 더 길지만 작업 품질은 항상 더 좋습니다. 보고서가 돌아오면 Fable에게 검토를 맡기고, Fable은 결과물이 얼마나 좋은지에 대해 늘 공손하게 놀란 어조로 말합니다. 어제 작은 예시: Drax는 제가 그에게 만들도록 시킨 게임 제품군 중 하나의 UI 작업을 하고 있었고 실제로 시작했습니다. 저는 그것을 브라우저에서 열어(분명히 브라우저 게임입니다) Drax가 아직 작업하는 동안 플레이하기 시작하며 어떤 모습인지 확인했습니다. 저는

물론이죠, 하지만 Drax처럼 끝까지 실행할 수 있어야만 가능하죠. 그건 불가능해요. 제가 감당할 수 없거든요. 어쨌든 저는 '클라우드가 더 저렴하다'는 글을 보는 것에 정말 지쳤기 때문에 이걸 올립니다. 아니에요. 그렇지 않아요. 적어도 이 특정 모델이 제공하는 수준의 지능에 대해서는, 제 컴퓨터에서, 그리고 제가 Great Slow King인 것을 얼마나 참아낼 의향이 있는지를 고려했을 때, 그리고 제가 사는 곳에서는요. (알겠습니다, 알겠습니다. 참고 자료를 설명할게요. 왜냐하면 AI가 여기서 당신을 실패하게 만들 것이고 마블 캐릭터: 로저 젤라즈니(Roger Zelazny)의 Drax를 고집할 것이기 때문이에요. 이 단편 이야기에서 두 Great Slow King은 극도로 지능적이지만 너무 느려서 인류 전체가 흥망성쇠하는 동안에도 여전히 생각하고 있는 상태예요.) 아, 그리고 누가 '그냥 구독하세요'라고 말하기 전에요. 친구분, 안 돼요. 저는 제 주체성을 포기하고 싶지 않아요. 게다가 구독료는 돈($$$)이고 곧 더 많은 돈($$$$)이 되거나 심지어 $$$$$가 될 거예요. Drax가 여전히 구독료보다 저렴할 거예요. 수정: 아, 그리고 제가 이걸 LocalLLaMa에 올렸다는 걸 방금 깨달았어요. 아마 에이전트 서브레딧에 올려야 했을 것 같아요. 죄송해요. 만약 삭제되면 거기에 올릴게요. /u/Past-Town-9807 님이 제출함 [링크] [댓글들]