요청에 따라 LLM을 깨우고/끄는 리버스 프록시

아마도 아주 독창적인 프로젝트는 아니지만, 제가 전력을 절약하고 필요할 때마다 수동으로 LLM 장비를 켜거나(또는 끝났을 때 끌 필요가 없도록) 하기 위해 만든 작은 프로젝트입니다. 주로 로컬 모델 기반의 바이브 코딩(vibe-coding) 테스트를 위해 만들었기 때문에 (이 저장소에 있는 거의 모든 것은 손수 작성한 것이 아니니 의견 주시기 바랍니다), 하지만 충분히 유용해서 공유하려고 생각했습니다. 이 프록시는 클라이언트(openwebui/코딩 하네스 등)와 LLM 장비 사이에 위치하여 요청을 보내기 전에 기기를 깨우고, 오랫동안 요청이 들어오지 않으면 다시 기기를 종료합니다. 또한 /v1/models 엔드포인트를 캐싱하므로 openwebui나 해당 엔드포인트를 자주 사용하는 다른 도구를 사용할 때도 기기가 계속 켜지는 것을 방지합니다. 로그인한 사용자를 확인하는 명령어를 설정할 수도 있는데, 이를 통해 작업 중일 때는 장비가 꺼지지 않도록 할 수 있습니다. 제가 상상할 수 있는 범위에서 '좋은' 코드는 아니라고 말하겠지만, 다른 일을 하는 동안 거의 스스로 코딩된 것이라 나쁘지는 않고 지금까지는 안정적인 것 같습니다. 모든 바이브 코드와 마찬가지로 의견 주시기 바랍니다. 제안이나 PR을 받는 것을 환영합니다. /u/ac101m 제출 [링크] [댓글]