오랫동안 준비해 왔지만, 드디어 출시되었습니다! 이제 openlumara의 강력한 성능을 통해 여러분이 이미 사용 중인 UI를 기본적으로 초강력하게 만들 수 있습니다. openlumara 자체에 대한 자세한 정보는 해당 링크를 클릭하세요. 요약하자면(TL;DR): 로컬 모델(local models)을 위해 밑바닥부터 구축된 초고효율 토큰 프레임워크로, 클라우드 API를 위해 만들어져 로컬 모델의 성능을 저하시키는 경향이 있는 하네스(harnesses)와 에이전트(agents)에 관한 많은 관습을 재정의했습니다. 로컬 모델의 특성에 맞서기보다 로컬 모델의 특성을 활용하여 어떻게 작동하는지에 대한 자세한 정보는 링크를 참조하세요. 어쨌든, 이번 데모에서 저는 다음과 같이 설정했습니다:

koboldlite가 openlumara에 연결되고, 그다음 openlumara가 llamacpp에 연결됩니다.
따라서 koboldlite (또는 openwebui, 혹은 그 외 무엇이든) -> openlumara -> llamacpp/koboldcpp/원하는 무엇이든

좀 더 기술적으로 말하자면, openlumara 자체가 llamacpp에 연결되어 있습니다. openlumara는 8000번 포트에서 API 브릿지(API bridge)를 실행하며, koboldlite는 다른 일반적인 OpenAI API와 마찬가지로 여기에 연결됩니다. 그러면 짠, 즉시 lumara가 적용됩니다!
아, 그리고 생각(thinking) 헤더가 거슬린다면 접을 수 있습니다. 이는 API 브릿지 채널 설정에 있는 설정일 뿐입니다.
submitted by /u/rosie254 to r/LocalLLaMA
[link] [comments]