로컬 LLM의 분류 답변을 학습하고 반복되는 질문에 마이크로초 단위로 응답하는 작은 테이블 구축

프로젝트: https://2796gaurav.github.io/shad0w/

만약 분류(classification)를 위해 로컬 모델을 사용한다면, 기다림을 경험했을 것입니다. 수백 번 답변했던 질문에 매번 메시지당 몇 초가 걸리는 식입니다. shad0w는 모든 OpenAI 호환 서버 앞에 위치하며 (Ollama에서 즉시 작동합니다: llm="ollama/llama3.1" 또는 shad0w proxy --upstream http://localhost:11434/v1), 모델의 답변을 기록하고, 약 1,000개의 답변이 쌓이면 작은 테이블을 컴파일하여 반복되는 질문에 CPU로 마이크로초 단위로 응답합니다. 이 시스템은 보유(held-out)된 답변 중 모델과 95% 이상 일치하는 경우에만 답변하며, 나머지 모든 것은 여전히 모델로 전송됩니다. 재미있는 점은: LLM의 움직임을 학습하여 Snake 게임을 플레이하고, LLM이 할 수 없는 속도인 초당 10회로 계속 플레이한다는 것입니다: https://2796gaurav.github.io/shad0w/arena/

Apache-2.0, Python/JS/C 라이선스입니다. 궁금한 점에 답변해 드릴 수 있으며, 이 시스템이 어디서 고장 나는지 듣고 싶습니다.
제출자: /u/gauravc2796 [링크] [댓글]