저는 2024년에 제 프로젝트를 위해 Claude Code를 사용하기 시작했고, Claude Opus 4.5가 출시된 이후 사용량을 늘렸습니다. 그 '황금기'를 되돌아보면, 그때와 지금의 가장 큰 차이점은 바로 자유로움이었습니다. 가장 저렴한 플랜조차 실험하고, 배우고, 구축할 수 있는 충분한 여유를 제공했습니다. 오늘날 상황은 분명 매우 다릅니다. 주간 및 일일 제한(Weekly and daily limits), 기본적으로 더 많은 토큰(Tokens)을 소비하는 LLM(Large Language Models), 내부적으로 다른 모델로 재라우팅(Re-routed)되는 프롬프트(Prompts) 등 끝도 없이 이어집니다. 저는 우리 중 많은 이들이 '초기 시절'에 누렸던 자유로 돌아가기를 원하고 있다고 생각합니다. 확실히 OpenAI도 이를 알고 있습니다. 그리고 이것이 일부 사람들이 이 플랜들을 최대한 활용하기 위해 OpenAI와 Anthropic 사이를 왔다 갔다 하는 큰 이유이기도 합니다. 문제는 거의 모든 주요 AI 연구소(AI Lab)가 더 제한적이고 계량화된 AI 추론(Inference) 가격 모델로 이동하고 있다는 점입니다. 우리는 그저 더 적은 것으로 더 많은 일을 하는 것에 익숙해져야 할 것입니다. 하지만 어떻게 해야 할까요? 다행히 Anthropic을 포함하여 LLM을 더 효과적으로 사용하는 방법에 대한 많은 연구가 나와 있습니다. 이러한 연구 중 일부를 기준으로 삼아, 저는 Claude Code와 같은 LLM 사용자 약 240,000명을 대상으로 한 시뮬레이션인 저만의 연구를 진행했습니다. 다음은 저의 연구(제목: Secrets of the LLM Whisperer)가 '더 적은 자원으로 더 많은 일을 해내는 방법'에 대해 밝혀낸 내용 중 일부입니다:

작업에 적합한 모델 사용하기: 지난 6월, Anthropic은 Claude의 도움을 받는 작업의 경제적 가치를 조사한 연구를 발표했습니다. 그들은 작업당 가치가 꾸준히 증가한다는 것을 발견했습니다. 더욱 흥미로운 점은 오늘날 비용이 더 저렴한 Sonnet과 같은 모델을 사용하여 작업당 가치가 성장했다는 것입니다. 많은 사람이 많은 작업에 가장 유능한 모델을 사용합니다. 그 이유 중 하나는 새로운 모델이 꾸준히 출시되면서, 이전 모델보다 더 나은 모델을 찾는 습관이 들었기 때문입니다. 하지만 이제는 더 이상 그것이 불가능합니다. 적합한 모델을 사용한다는 것은 항상 가장 저렴한 모델을 선택하는 것이 아니라, 작업을 더 적은 시간에 완료할 수 있는 모델을 선택하는 것을 의미합니다.

재시도(Retries)는 예산을 낭비합니다: 저의 연구는 또한 토큰 소비에 있어 재시도(retries)의 역할을 강조했습니다. 우리는 LLM(Large Language Models)을 사용하는 데 따르는 당연한 비용으로 재시도를 받아들이는 데 익숙해져 있습니다. 결국 AI는 실수를 하고, 우리는 (때로는 많은 노력을 들여) 이를 조정하고 다음 단계로 넘어갑니다. 하지만 재시도는 비용이 누적되며, 때로는 AI가 다음 시도에서 성공할 가능성을 오히려 낮추기도 합니다. 재시도를 관리하고 가능한 한 제한하는 것은 또 다른 비용 절감 전략입니다. 더 적은 자원으로 더 많은 일을 하는 방법을 이해하려면 새로운 전술과 습관을 채택해야 합니다. 저는 이 연구를 바탕으로, 여러분의 LLM '비용 성향(cost personality)'을 파악하고 Claude(및 기타 LLM)를 사용하는 방식이 돈을 쓰고 있는지(또는 아끼고 있는지) 확인할 수 있는 5분 진단 테스트를 개발했습니다. 저의 견해는 이렇습니다: 이 기업들이 상장함에 따라, 혁신을 지속하고 수익을 증명해야 한다는 압박은 더욱 커질 것입니다. 이는 사용자에게 더 많은 비용을 전가하고, 최상의 모델에 대해 사용량을 측정(metering)하며, 최대 수익을 창출하기 위해 할 수 있는 모든 일을 한다는 것을 의미합니다. 이것이 새로운 현실이지만, 우리는 어떻게 적응해야 할지 방법을 찾아낼 것이라고 생각합니다. submitted by /u/SpiritRealistic8174 [link] [comments]