Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM 프록시 운영의 장점과 한계를 분석하며, 특히 조직 전체 에이전트 세션 기록 관리의 중요성을 강조합니다. API 종량제와 구독제의 비용 구조를 비교하고, 자율 에이전트 사용 시 토큰 소모가 급증하는 문제점을 지적합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 GeekNews의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기API 종량제라면 프록시가 좋지만, 구독제라면 ~/.claude/projects/ 같은 디렉터리에서 JSONL 파일을 모으는 편이 더 간단함. 하위 에이전트 기록 등도 프록시에서 보는 것보다 잘 정리돼 있음.
다만 가장 큰 가치는 조직 전체의 에이전트 세션을 모을 때 생김. 인증 정보를 제거하고 보안도 챙겨야 함.
EU에 있다면 채팅에 개인정보가 들어갈 수 있다는 점을 주의해야 함. “죄송하지만 난독증이 있어요” 같은 말도 개인정보에 해당함. 채팅은 코드가 아니라 채팅으로 취급하고 매우 신중하게 다뤄야 함.
여러 에이전트 실행 도구의 기록을 수집·보관하고 검색하는 가장 좋은 방법이 뭘까? 형식을 표준화하려는 프로젝트를 한두 개 본 것 같은데, 합리적인 해결책은 찾지 못하겠음.
이런 구성을 쓰거나 API 키를 사용하고 싶지만, 구독 대비 API 비용을 어떻게 정당화하는지 모르겠음. 월 200달러짜리 Claude Max 20x를 쓰며 매주 한도를 거의 다 소진하는데, API 키로 시험했을 때는 2~3일 만에 200달러가 나갔음.
토큰 사용량이 폭증하는 건 자율 에이전트 여러 개가 문제를 두고 “협업”하기 때문인 경우가 많다고 봄. 덜 미래적으로 느껴져도 사람이 개입하는 단일 에이전트 루프가 현재는 더 효과적이고 효율적임.
기술적 호기심으로 도구를 쓰는 경우와 구체적인 목적을 위해 쓰는 경우는 매우 다름. 정해진 조건에 맞춰 일을 끝내면 얼마를 받을지 아는 입장에서는, 실제 수익이 걸린 작업에 좋은 에이전트 하나를 두고 직접 개입하는 쪽을 선호함. 재미나 탐구가 목적이라면 구독제가 더 안전하게 느껴질 수 있지만, 현실에서 Factorio를 돌리면 비용이 크게 불어날 수 있음.
API 쪽 성능이 더 좋다고도 느끼지만, 내 작업 결과물과 동료들의 결과물을 비교한 것 외에는 근거가 없음. 지금은 선불 토큰을 거의 신봉하며, Visual Studio의 Copilot에 사용자 지정 모델 설정으로 GPT5.5를 연결해 주요 작업을 처리함. 충분한 성능에 월평균 토큰 비용은 100달러 미만이고, 수요를 예측하고 통제할 수 있어 구독제가 오히려 더 비쌈.
변동 요금과 고정 요금 전기 계약의 차이와 비슷함. 수요를 통제할 수 있다면 실시간 도매가격을 지불하는 쪽이 경제적으로 크게 유리함.
현재 Flash 계열 모델은 Opus보다 Sonnet에 가깝지만 가격이 매우 저렴함. 구독제에는 막대한 보조금이 들어가며, 돈을 쏟아붓는 최첨단 모델 개발사가 아닌 곳들은 최근 몇 달간 구독을 폐지하거나 가격을 크게 올리고 한도를 줄여야 했음. 저렴한 토큰은 고객 유치 수단이지 지속 가능한 상품이 아님. 과장처럼 들려도 마약 판매자의 고객 유입 방식과 닮았음. 언젠가 실제 가격을 감당하거나 더 저렴한 대안으로 옮겨야 하므로, 지금부터 비용 구조를 파악하는 편이 좋음.
토큰이 떨어질 때마다 서비스를 바꿔 쓰고 각 분야에 강한 모델을 골라 쓰느라, 여러 업체의 비싼 요금제에 가입해 있음. 현재 Claude 전체 한도는 15%, Fable은 50% 남았고 초기화까지 3일임. Grok은 0%에 4일, agy의 Gemini는 36%에 5일, Claude·GPT는 0%에 5일, Codex는 0%에 6일 남았음.
Codex에서 일주일 분량을 추가로 주는 무료 이용권도 3개 중 2개를 이미 썼음. 에이전트 군집, 여러 대형 프로젝트, 에이전트를 통한 데이터 분석을 돌리면 토큰이 금세 소진됨. 최근 4일 사용량은 API 기준 3,000달러를 훌쩍 넘겼을 것임.
업체들은 구독 한도를 다 쓰지 않는 이용자에 기대를 거는 것임. 월 20달러를 내고 최대 사용량의 10%만 쓰는 사람도 있을 수 있음.
마약 판매자가 첫 투약분을 공짜로 주는 건 친구여서가 아니라, 제품에 중독시키는 것이 장기적으로 이익이기 때문임.
구독제로 무엇을 하길래 이렇게 세밀하게 관찰해야 하는지 모르겠음. 집에서 쓰는 내 용도로는 월 100달러짜리 OpenAI 구독이 사실상 무제한처럼 느껴짐.
통신사 제공 공유기가 잘 작동하면 만족하는 사람도 있고, 내부를 들여다보기 위해서라도 pfSense를 직접 운영하려는 사람도 있음.
캐시 TTL은 결국 영향을 줌. Claude 구독의 하위 에이전트는 여전히 TTL이 5분이라, 이 사실을 알기 전에는 10분 정도 걸리는 테스트 등을 기다리는 것만으로 5시간 사용 한도가 크게 소모됐음.
직장에서 쓰는 Claude API도 모든 항목의 TTL이 5분인데, 턱없이 짧음. 회사 예산을 태우고 싶지 않다면 반드시 모니터링해야 함.
누군가에게는 재미있는 일이 다른 누군가에게는 “이 단어들이 무슨 뜻인지도 모르겠고, 이런 복잡함을 대신 처리해 달라고 월 20달러를 내는 것”일 수 있음. 그래도 이런 블로그 글 자체는 좋아함.
Tailscale은 Aperture를 무료로 제공함. 직접 소유하는 것은 아니지만 자신의 tailnet 안에 있으므로 접근 방식을 어느 정도 통제할 수 있음. 에이전트가 하는 일을 보기 좋게 보여주고, 설정과 확장 기능이 다양하며 개발팀도 꾸준히 업데이트하고 있음.
지금 Aperture 확장 기능을 만들고 있어 홍보할 개인적 이유도 있지만, 쉽고 괜찮은 해결책이라고 생각함. 확장 기능을 만들기 전부터 주변에 추천했음.
Aperture가 확장 기능을 지원하나? 어떤 종류를 만들고 있는지 궁금함.
지금 서버 몇 대에 liteLLMProxy를 설치하고 시험해 보려는 중임. 이것 없이는 샌드박스 안의 에이전트를 조율하기 어려움. 가상 키를 발급하므로 제공업체의 API 키가 샌드박스에 들어갈 일이 없고, 모든 동작을 관찰할 수 있으며 안전장치도 적용할 수 있음. 그 밖의 기능도 기대됨.
어떤 안전장치를 쓰고 있나? 프롬프트 인젝션 검사 모델 같은 것인가? 에이전트가 실행되는 환경을 몰라도 유용한 안전장치는 무엇인지 궁금함. Bifrost도 이런 용도로 쓸 수 있다고 들었는데, 시험해 봤다면 장단점이 어떤가?
직접 만든 셀프 호스팅 프록시를 홍보해 봄. 구독과 API 사용을 모두 지원함. 주로 로컬 LLM 운영용으로 설계했지만, claude-code, opencode, codex 등의 프록시로도 쓸 수 있음. https://llama-dash.dev
LLM 프록시를 쓰는 건 좋지만, LiteLLM을 비롯한 LLM 도구들이 버그투성이 바이브 코딩 결과물이 아니었으면 좋겠음. 업데이트 속도를 보면 보안 취약점도 있을 것 같은데, 내가 잘못 쓰는 걸까? 괜찮은 대안이 있나?
Bifrost는 일부가 셰어웨어이긴 해도 괜찮았음.
자신도 버그투성이 바이브 코딩 결과물을 만드는 데 쓸 도구를 두고, 버그투성이 바이브 코딩 결과물이라고 불평하는 셈 아닌가?
프록시를 거쳐 모든 데이터를 수집하는 것이 매우 중요함. Bifrost에 아주 만족하며, LiteLLM과 달리 품질 좋은 소프트웨어라고 봄. 셀프 호스팅부터 음성 인식 모델까지 모든 서비스의 모델을 하나의 인터페이스로 사용할 수 있음.
구독제를 프록시와 함께 쓰는 방법도 있지만, 회색지대의 악용 가능성 때문에 권장되지는 않음.
초보적인 질문일 수 있지만, 이런 도구로 어떤 데이터를 얻어 어떤 결정을 내리려는 건가? IT·인프라 팀이 LLM 비용을 관리하는 용도는 이해되는데, 이 글은 제품 관련 의사결정도 암시하는 것 같아서 내가 뭘 놓쳤는지 궁금함.