Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
openlumara는 로컬 모델의 성능을 극대화하기 위해 밑바닥부터 구축된 초고효율 토큰 프레임워크입니다. OpenAI API 규격을 지원하여 koboldlite와 같은 기존 UI를 통해 로컬 모델을 효율적으로 제어할 수 있게 해줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/OpenAI Codex (search)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기오랫동안 준비해 왔지만, 드디어 출시되었습니다! 이제 openlumara의 강력한 성능을 통해 여러분이 이미 사용 중인 UI를 기본적으로 초강력하게 만들 수 있습니다. openlumara 자체에 대한 자세한 정보는 해당 링크를 클릭하세요. 요약하자면(TL;DR): 로컬 모델(local models)을 위해 밑바닥부터 구축된 초고효율 토큰 프레임워크로, 클라우드 API를 위해 만들어져 로컬 모델의 성능을 저하시키는 경향이 있는 하네스(harnesses)와 에이전트(agents)에 관한 많은 관습을 재정의했습니다. 로컬 모델의 특성에 맞서기보다 로컬 모델의 특성을 활용하여 어떻게 작동하는지에 대한 자세한 정보는 링크를 참조하세요. 어쨌든, 이번 데모에서 저는 다음과 같이 설정했습니다:
koboldlite가 openlumara에 연결되고, 그다음 openlumara가 llamacpp에 연결됩니다.
따라서 koboldlite (또는 openwebui, 혹은 그 외 무엇이든) -> openlumara -> llamacpp/koboldcpp/원하는 무엇이든
좀 더 기술적으로 말하자면, openlumara 자체가 llamacpp에 연결되어 있습니다. openlumara는 8000번 포트에서 API 브릿지(API bridge)를 실행하며, koboldlite는 다른 일반적인 OpenAI API와 마찬가지로 여기에 연결됩니다. 그러면 짠, 즉시 lumara가 적용됩니다!
아, 그리고 생각(thinking) 헤더가 거슬린다면 접을 수 있습니다. 이는 API 브릿지 채널 설정에 있는 설정일 뿐입니다.
submitted by /u/rosie254 to r/LocalLLaMA
[link] [comments]