[GPL3 라이선스 하에 완전한 오픈 소스이며, 로컬 모델 사용을 위해 처음부터 구축되었습니다. 구독 없음, 기업 후원 없음]

이 프로젝트를 처음 시작했을 때, openclaw, hermes 등과 같은 도구들에 대한 완전한 경량화 및 극도로 모듈화된 대안을 목표로 했으며, 지금도 여전히 그렇습니다! 하지만 사람들이 특히 WebUI를 좋아해서, 에이전트(agentic) 기능을 사용하지 않고 단순히 로컬 모델과 대화하기 위한 WebUI로만 사용하는 것을 목격했습니다. 하지만 WebUI에는 여전히 많은 AI 생성 코드(AI generated code)가 포함되어 있었고, 그것이 제 마음에 들지 않았습니다!

그래서 저는 모든 것을 처음부터 수동으로 다시 작성했습니다. 이제 매우 빠르고 안정적이며, JavaScript 프레임워크의 비대함(bloat) 없이 선언적 JavaScript(declarative javascript)를 사용합니다 (React나 Vue 같은 것은 전혀 없습니다... alpine.js는 매우 가볍습니다).

Python 의존성(dependencies)도 몇 개 되지 않습니다. 모델이 설치되지 않으며, 번들로 포함된 추론 엔진(inference engine)도 없습니다. PyTorch와 Transformers조차 포함되어 있지 않습니다! 저는 여러분이 llama.cpp, koboldcpp, lemonade 또는 그와 유사한 것들에 연결하여 사용하기를 기대합니다. 물론 정말 원한다면 클라우드 API(cloud API's)와 함께 사용할 수도 있습니다.

이것은 진정한 로컬 우선(local-first) WebUI입니다. 저는 이를 로컬 AI를 위해 처음부터 설계했으며, 여기서는 클라우드 AI가 이례적으로 2등 시민입니다.

특히 로컬 AI 사용자에게 유익한 많은 기능을 갖추고 있습니다: 프롬프트 처리에 시간이 얼마나 걸릴지 확인할 수 있고(llama.cpp 전용 기능), 도구 호출(toolcalls)이 실시간으로 작성되는 것을 볼 수 있으며(코딩 시 매우 유용함), 모델에 추가적인 요청을 보내지 않고 오직 사용자가 제공한 프롬프트만 보냅니다. 즉, 채팅 제목을 만들거나 후속 답변을 생성하기 위해 추가적인 요청을 보내지 않습니다.

이 모든 것은 다중 채널 지원(Telegram, Discord 등), 극단적인 토큰 효율성(token efficiency)에 대한 집중, 시스템 프롬프트(system prompt)를 매우 작고 간결하게 유지하는 것, 그리고 보안과 같은 하네스(harness) 스타일 설계에서 오는 이점들에 더해지는 것입니다.

하지만 순수하게 WebUI로만 사용하는 것도 정말 간단합니다: 설정의 모델(Model) 탭에서 '도구 사용(Use Tools)'을 끄기만 하면 됩니다.

그렇게 하면 즉시 모든 시스템 프롬프트(system prompts)가 사라지고 모든 도구(tools)가 비활성화되어, 아무런 방해 없이 순수한 모델(pure model)과 대화할 수 있습니다.

약간의 기술적 지식이 필요하긴 하지만, 그리 많지는 않습니다. 현재로서는 GitHub에서 메인 브랜치(main branch)를 git clone 하거나 zip 파일로 다운로드해야 하지만, 그 이후에는 run.sh 또는 run.bat을 실행하고 브라우저에 표시되는 URL을 열기만 하면 됩니다. 아, 실행하기 전에 Python이 설치되어 있어야 합니다. 하지만 그게 전부입니다. (더 사용자 친화적으로 만들기 위해 작업 중입니다)

직접 체험해보고 싶다면 여기서 확인하실 수 있습니다: https://github.com/Rose22/openlumara

여러분의 생각을 알려주세요! 피드백은 언제나 환영하며, (좋은 아이디어라면) 기능 요청을 구현하거나 보고된 버그를 수정하곤 합니다.
제출자: /u/rosie254
[link] [comments]