Lemonade Router가 완성된 Lemonade 11.5 로컬 AI 서버 출시

AMD

Lemonade 로컬 AI 서버를 사용하면 Windows 및 Linux 환경 모두에서 Ryzen AI NPU, Radeon GPU, 그리고 CPU 전반에 걸쳐 LLM (Large Language Model) 워크로드를 쉽게 배포할 수 있습니다. Lemonade 11.5의 가장 중요한 변화는 정의된 정책에 따라 관련 모델로 쿼리를 자동으로 라우팅(routing)할 수 있는 Lemonade Router의 완성입니다. 또는 특정 요청을 어떤 모델로 라우팅할지 결정하기 위해 작은 LLM을 사용하는 LLM-as-a-router 방식도 사용할 수 있습니다.

Lemonade Router를 통해 규칙(rule), 분류기(classifier), 의미적 유사성(semantic similarity), 또는 LLM-as-router 정책을 기반으로 요청을 제어할 수 있습니다. 이러한 정책은 JSON 파일로 정의하거나 Lemonade GUI를 통해 작성할 수 있습니다. 이러한 라우터 기능에 대한 자세한 내용은 이 커밋(commit)을 통해 확인할 수 있습니다.

Lemonade 11.5는 또한 클라이언트가 다단계 레시피(multi-step recipes)를 게시하고 /jobs 엔드포인트를 통해 이를 관리할 수 있도록 하는 서버 측 작업 엔진(job engine)을 도입했습니다. 이 엔드포인트를 통해 다단계 레시피를 일시 중지(pause) / 중단(interrupt) / 재개(resume) / 삭제(delete)할 수 있습니다. 또 다른 변화는 lemond 데몬이 이제 외부 stdio MCP 서버에 연결하기 위한 MCP 클라이언트 호스트 역할을 할 수 있다는 점입니다.

오늘의 Lemonade 11.5 릴리스에 대해 더 자세히 알고 싶은 분들은 GitHub에서 확인할 수 있습니다.