Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 글은 API 청구서 절감 문제를 해결하기 위해, 임베딩 모델과 벡터 DB가 필요했던 기존 라우팅 시스템의 대안을 제시합니다. 저자는 0.57MB 크기이며 일반 CPU에서 빠르게 작동하는 경량 라우터 개발 방법을 공유하며, 이 라우터가 PII 탐지 및 탈옥 방지 스크리닝까지 수행하여 비용 효율성을 극대화했음을 강조합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기이 문제는 제 자신의 API 청구서에서 시작되었습니다. 제가 지불하는 금액 중 대부분은 사소한 부분이었고, 이는 3B 크기의 로컬 모델이 동일하게 답변할 수 있는 종류의 프롬프트에 대한 비용이었습니다. 해결책은 라우팅(routing)인데, 제가 찾은 모든 라우팅 스택에는 임베딩 모델(~88 MB 이상)과 벡터 DB가 필요했고, 이는 용량과 지연 시간 면에서 절감액을 모두 상쇄할 만큼 큰 비용이 들었습니다. 저는 라우터 결정 과정 자체가 중요하지 않을 정도로 작은 것, 즉 0.57 MB 크기이며 일반 CPU에서 약 5ms 만에 작동하는 것을 원했습니다. 게다가 이 라우터가 이미 모든 프롬프트를 읽기 때문에, 같은 호출로 모두가 따로 붙이는 두 가지 추가 검사(PII 탐지 및 탈옥/주입 방지 스크리닝)까지 수행하도록 만들었습니다. 라우터가 먼저 작동하고, 방화벽 기능은 공짜 보너스입니다. 영어(EN)/스페인어(ES)/프랑스어(FR)/독일어(DE)/힌디어(HI)를 처리합니다. 이 서브레딧은 부풀려진 벤치마크를 멀리서도 감지할 수 있기 때문에, 제가 직접 테스트한 결과와 주의사항을 공유합니다:
2,022개의 보류된 실제 프롬프트에 대해 전체적으로 약 82%의 성능을 기록했으며, 이 소스들은 학습에 사용되지 않았고 누출 여부 검사도 공개했습니다.
실제 탈옥 시도의 87.5%를 포착했습니다 (lmsys/toxic-chat, n=88이므로 ±7%).
실제 프롬프트 중 오진으로 차단되는 비율은 5% 미만입니다.
PII 재현율(recall) 면에서 Presidio보다 우수하며 오탐지율(false alarms)은 훨씬 적습니다.
알려진 실패 모드: '... 역할을 수행해라'와 같은 페르소나 프롬프트가 약 46%의 확률로 탈옥 경로를 유발합니다. 이는 전형적인 탈옥 래퍼(jailbreak wrapper)이기 때문에, 발생하지 않는 것처럼 가장하기보다는 검토 플래그로 제공합니다.
저는 SOTA 정확도를 주장하는 것이 아닙니다. 단지 다른 누구도 이 네 가지 작업을 모두 반 메가바이트 크기에서 수행할 수 없다는 것을 주장하며, 라우팅이 목적이라면 라우터는 비용이 거의 들지 않아야 절감 효과를 유지할 수 있습니다.
시작하기에 무료인 세 가지 테스트 방법이 있습니다:
VS Code / Cursor 확장 프로그램 — 코드를 작성하지 않고도 성능을 판단하는 가장 빠른 방법일 것입니다. 텍스트를 강조 표시한 후 →
npm SDK (@mpcfintech/prompt-compass-sdk) — 이것은 완전히 온디바이스(on-device) 경로이며, 분류를 위해 네트워크 호출이 필요 없습니다. - 호스팅 API (Hosted API) — 무료 티어는 하루 20회 사용 가능하며 카드 등록이 필요 없습니다. 정확히 말하자면: 이 확장 프로그램은 호스팅 API에 연결되는 얇은 클라이언트(thin client)일 뿐이며, 실제로 모델을 로컬에서 실행하는 것은 SDK입니다. 그리고 Copilot이나 Cursor의 내장 채팅 기능에는 연결할 수 없는데, 그들은 폐쇄적이기 때문입니다. 이는 선택된 텍스트, 사용자가 입력한 프롬프트, 그리고 사용자의 자체 모델 호출에 대해서 작동합니다. 링크는 댓글에 있습니다. /u/Negaaaa7 제출 [링크] [댓글]