지난 24시간 동안 uncensored deepseek v4.1 flash에서 30억 토큰을 $87에 사용했습니다

저는 지난 24시간 동안 uncensored deepseek v4.1 flash 모델에서 30억(3 BILLION) 토큰을 $87에 소진했습니다.

만약 여전히 모든 것을 위해 Claude와 ChatGPT를 기본으로 사용하고 있다면, 당신은 기회를 놓치고 있는 것입니다(ngmi).

주말 동안 중국의 open-weight 모델 생태계를 탐험해 보시길 강력히 권장합니다. deepseek, qwen, kimi, glm, uncensored 파인튜닝 모델, abliterated 모델, 로컬 추론(local inference) 등 모든 것을요.

이러한 모델들의 가격 대비 성능은 정말 터무니없을 정도이며, 사람들의 99%는 이것이 존재한다는 사실조차 모릅니다.

Ollama, LM Studio 또는 MLX를 사용하여 더 작은 모델들을 로컬에서 실행할 수 있습니다. 더 큰 모델들은 Venice AI나 다른 추론 제공업체(inference providers)를 통해 이용 가능합니다. 이 모델들을 OpenCode에 연결하면 터미널 접근, 브라우저 도구, 파일 시스템 접근 등 원하는 모든 것을 갖춘 코딩 에이전트를 즉시 얻을 수 있습니다.

당신은 하나의 모델이나 제공업체에 갇힐 필요가 없습니다.

여기에 프롬프트를 제시합니다. 이 내용을 복사하여 당신의 코딩 에이전트에 붙여넣으세요:

"현재 중국 open-weight 모델 생태계를 조사해 주세요. deepseek, qwen, kimi, glm을 포함하며, uncensored 및 abliterated 변형 모델도 포함합니다.

제 하드웨어를 검사하여 Ollama, MLX 또는 llama .cpp를 통해 로컬에서 무엇을 실행할 수 있는지 파악해 주세요. 너무 큰 경우, Venice AI를 포함한 호스팅 제공업체들을 비교 분석해 주세요.

실제 출력 토큰/초(tokens/sec), TTFT (Time To First Token), 컨텍스트 한계, 입력/출력 가격 책정, 캐시 가격 책정, 코딩 능력 및 도구 호출 신뢰도를 비교하세요. 벤치마크 리더보드가 아닌, 저의 실제 워크로드를 위한 최적의 옵션을 찾아주세요.

저의 예산에 맞춰 최고의 로컬 모델과 호스팅 모델을 사용하여 OpenCode를 설정해 주세요. 제공업체들을 구성하고, 도구 호출 기능을 테스트하며, 컨텍스트 사용량을 최적화하고, 엔드포인트 전반에 걸쳐 동일한 작업을 벤치마크하세요.

제가 실제로 작동시킬 수 있는 가장 빠르고 저렴하며 신뢰할 수 있는 구성을 보여주세요. 기존 설정을 변경하기 전에 모든 것을 검증해 주세요."

또한, 모델과 추론 제공업체는 두 가지가 완전히 다른 것임을 이해해 주시기 바랍니다.

누가 서비스를 제공하느냐에 따라 정확히 동일한 가중치(weights)라도 엄청나게 다른 속도로 실행될 수 있습니다. 광고된 처리량(throughput)이 아닌, 실제 디코딩 속도(decode speed)를 확인하세요.

접두사 캐싱(Prefix Caching), 컨텍스트 압축(Context Compaction), 양자화(Quantization), 모델 라우팅(Model Routing)을 살펴보세요. 이 부분을 제대로 이해해야 합니다.

당신의 에이전트가 실제로 무언가를 해결하는 것보다 오래된 도구 출력물(Tool Outputs)을 다시 읽는 데 더 많은 돈을 쓰고 있을 수 있습니다.

그리고 작은 로컬 모델이나 파이썬 코드 20줄로 처리할 수 있는 작업에 비싼 추론 모델(Reasoning Models)을 사용하는 것을 중단하세요.

채팅 창 외부에서 모델을 실행해 본 적조차 없는 사람들이 AI 구독 서비스에 너무 많은 돈을 낭비하고 있습니다.

정말 미친 일입니다.