• 같은 네트워크의 컴퓨터들을 연결해
  여러 앱과 에이전트의 AI 요청을 분산 처리하는 로컬 추론 라우터
  Ollama와 LM Studio를 지원하며, OpenAI/Ollama 호환 API로 기존 앱과 에이전트를 연결 가능
• 실행 가능한 추론 엔진과 모델이 있는 컴퓨터 중에서 현재 작업량을 고려해 요청을 보내며, 여러 에이전트가 동시에 작업하는 환경에 적합
  요청 하나는 컴퓨터 한 대에서 처리하므로, 여러 GPU의 메모리를 합치거나 모델 하나를 여러 기기에 나눠 실행하는 도구는 아님
• 데스크톱 앱에서 엔진 설치와 모델 다운로드, 작업 현황과 GPU/메모리 사용량을 관리하고,
  6자리 PIN으로 다른 컴퓨터를 연결
• Windows 11/Linux/macOS 컴퓨터를 섞어 구성할 수 있으며, x64와 arm64 지원
• 현재는 대기 작업량과 GPU 사용률 중심으로 분배하며, GPU 종류나 가용 메모리, 모델의 메모리 상주 여부까지 고려하지 않아
  성능이 비슷한 컴퓨터끼리 구성하는 편에 적합
• 클라이언트와 모델 공급원, 추론 엔진을 모두 로컬로 구성하면 프롬프트와 응답을 로컬 네트워크 안에서 처리 가능
• 운영체제별 설치 파일과 화면 없는 서버용 터미널 인터페이스 제공
• Apache-2.0 라이선스. 사용하는 추론 엔진과 모델에는 별도 라이선스가 적용될 수 있음

댓글과 토론