당신의 AI 에이전트 청구서 중 상당 부분은 실제로 작동하지 않습니다.
그것은 낭비입니다.
아무것도 변하지 않았는데도 상태를 확인하는 봇들,
매번 전체 채팅 기록을 다시 읽는 것,
계속 같은 실패한 호출을 재시도하는 것.
이 세 가지 누수 지점만 고치면, 수많은 봇들이 유휴 상태로 대기하며 실제 작업이 발생할 때까지 거의 비용이 들지 않습니다.
여기 누수를 막아줄 20개의 무료 리포지토리가 있습니다:
봇이 읽는 양 줄이기 (Shrink what the bot reads)
- markitdown: PDF 및 오피스 파일을 깔끔한 텍스트로 변환합니다.
- llmlingua: 사실 관계는 유지하면서 긴 프롬프트를 압축합니다.
- firecrawl: 필요한 데이터만 웹 페이지를 깨끗하게 가져옵니다.
- rtk: 컨텍스트(context)를 소모하는 지저분한 명령어 출력을 축소합니다.
- chonkie: 큰 문서를 분할하여 전체 파일이 아닌 올바른 구절을 추출하도록 합니다.
- flagembedding: 결과를 재순위화하여 강력한 결과만 프롬프트에 도달하게 합니다.
다시 읽는 대신 기억하기 (Remember instead of rereading)
7. mem0: 실행 간 중요한 사실들을 유지합니다.
8. graphiti: 전체 기록을 다시 재생하지 않고도 변경되는 사실들을 추적합니다.
재생성 대신 재사용하기 (Reuse instead of regenerating)
9. gptcache: 유사한 질문에 대한 저장된 답변을 제공합니다.
10. portkey gateway: 모든 API 호출을 위한 공유 캐시를 제공합니다.
11. prefect: 이미 완료된 단계를 건너뜁니다.
12. requests-cache: 만료될 때까지 가져온 데이터를 재사용합니다.
13. hishel: 실제로 변경된 페이지만 다시 다운로드합니다.
https://t.co/7XHdAeKvxP AI가 작동해야 할 때만 깨우세요
14. celery: 일반 코드가 대기 시간을 처리하도록 합니다.
15. apscheduler: 저렴한 예약 확인을 수행한 다음 실제 작업을 배치(batch)합니다.
16. semantic router: 큰 모델에 비용을 지불하지 않고 올바른 워크플로우를 선택합니다.
17. routellm: 쉬운 작업은 저렴한 모델로, 어려운 작업은 강력한 모델로 보냅니다.
출혈(비용 누수) 막기 (Stop the bleeding)
18. pybreaker: 계속 실패하는 서비스 호출을 중단합니다.
19. litellm: 통제 불능의 봇이 당신을 고갈시키지 않도록 엄격한 예산을 설정합니다.
20. phoenix: 토큰이 정확히 어디에 사용되는지 보여줍니다.
중요한 순서:
읽기 전에 필터링하기 (filter before reading)
생성하기 전에 재사용하기 (reuse before generating)
작업하기 전에 변경 사항 확인하기 (check for changes before working)
실패한 루프는 빠르게 종료하기 (kill failed loops fast)
그다음, 총 지출액 대비 완료된 작업량을 측정하세요.
아래 전체 과정에서는 이 모든 것을 어떻게 연결할 수 있는지 보여줍니다.