Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Velocity Local Services는 사용자의 컴퓨터에서 LLM을 실행할 수 있는 단일 앱입니다. GGUF 모델 로드, 웹 검색 및 도구 연동 채팅, 음성/사진 처리 기능을 제공하며, 최대 32M 토큰의 대용량 컨텍스트를 지원합니다. 또한 OpenAI 호환 API와 MCP를 통해 사용자의 모든 애플리케이션과 통합될 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 GitHub AI Tools의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기<a name="top"></a>
<div align="center"> <img src="https://raw.githubusercontent.com/Veloresearch/velocity-local-services/HEAD/.github/logo.png" alt="Velocity" width="72">모든 GGUF 모델을 로드하고 작업할 수 있는 단일 앱: 웹 검색 및 도구와의 채팅, 음성, 사진, 컴퓨터 사용 - 그리고 사용자가 사용하는 모든 다른 앱을 위한 OpenAI 호환 API와 MCP(Message Control Protocol).
컨텍스트는 모델의 창을 훨씬 뛰어넘어 최대 32M 토큰에 달합니다. 아무것도 기기를 벗어나지 않습니다.
<a href="https://github.com/Veloresearch/velocity-local-services/releases/latest/download/VLSSetup.exe"><img src="https://img.shields.io/badge/Download_for_Windows-VLSSetup.exe-7A688A?style=for-the-badge&logo=windows&logoColor=white&labelColor=1F1F22" alt="Download for Windows"></a>
<a href="https://github.com/Veloresearch/velocity-local-services/releases/latest/download/VLS-linux-x64.tar.gz"><img src="https://img.shields.io/badge/Download_for_Linux-x64_tar.gz-7A688A?style=for-the-badge&logo=linux&logoColor=white&labelColor=1F1F22" alt="Download for Linux"></a>
Release
Release date
Downloads
Latest release downloads
Stars
Last commit
<br>
Windows
Linux
Context
API
License
Technical report
<sub>실제 VLS 창: 질문을 검색하고, 페이지를 읽은 다음, 답변과 함께 출처 번호가 표시됩니다.</sub>
<br><br>
<a href="https://youtu.be/QZ6p2Il0MDs"><img src="https://img.youtube.com/vi/QZ6p2Il0MDs/maxresdefault.jpg" alt="YouTube에서 VLS 작동 모습 보기" width="72%"></a>
<sub>▶ <a href="https://youtu.be/QZ6p2Il0MDs"><b>VLS 작동 모습 보기</b></a> (YouTube)</sub>
<br><br>
설치 · Velocity Context · 벤치마크 · 기술 보고서 · 릴리스 노트 · veloresearch.com
</div> <br> <details> <summary><b>0.1.1 Preview 3의 새로운 기능</b> - 로컬 모델이 이제 텍스트 또는 음성으로 컴퓨터를 사용할 수 있습니다.</summary> <br>컴퓨터 사용은 현재 Windows 전용입니다. 전체 노트: VLS 0.1.1 Preview 3 · 모든 릴리스
</details>| 시작 | VLS가 필요한 이유 · 설치 · 자주 묻는 질문 |
| ... | <br> |
대부분의 로컬 러너는 모델을 불러와 그 창 크기만을 제공합니다. VLS도 그렇게 하지만, 모델 주변에 있는 것들까지 추가합니다: 창보다 훨씬 큰 컨텍스트(context), 모델이 사용할 수 있는 도구(tools), 사용자의 허가 하에 작동할 수 있는 컴퓨터, 그리고 각 답변을 어떻게 작성했는지 볼 수 있는 방법입니다.
<picture> <source media="(prefers-color-scheme: light)" srcset=".github/screens/home-light.png"> <img src="https://raw.githubusercontent.com/Veloresearch/velocity-local-services/HEAD/.github/screens/home-p3.png" alt="VLS 홈 화면: 로드된 모델, 작성 속도 및 그래픽 메모리, 빠른 프롬프트 및 최근 채팅" width="100%"> </picture> <p align="right"><sub><a href="#top">맨 위로 돌아가기</a></sub></p><a name="install"></a>
단 하나의 명령어. 계정 필요 없음, 로그인 불필요, 원격 측정 기록 안 함, Docker 사용 안 함.
Windows - VLSSetup.exe 다운로드 또는:
powershell
irm https://github.com/Veloresearch/velocity-local-services/releases/latest/download/install.ps1 | iex
Linux - x64 빌드 다운로드 (그 옆에 Vulkan 빌드가 있습니다), 또는:
curl -fsSL https://github.com/Veloresearch/velocity-local-services/releases/latest/download/install.sh | sh
설치 프로그램은 아무것도 다운로드하기 전에 시스템을 확인하고 적합한 빌드를 가져옵니다. NVIDIA 카드가 있는 경우 CUDA, 모든 카드에 있는 Linux의 경우 Vulkan, 그렇지 않은 경우에는 프로세서를 사용하며, 완료되면 패널이 열립니다. 업데이트는 설정(Settings)에서 자체적으로 설치됩니다. 제거하는 것은 폴더 하나를 삭제하는 것이며, 모델과 메모리는 다른 곳에 저장됩니다.
| 그래픽 카드 | 선택 사항입니다. 6GB 카드는 모든 레이어를 카드에 올려 4B 모델을 실행할 수 있습니다. 프로세서 빌드는 어디서든 작동합니다. |
| ... |
<a name="velocity-context"></a>
모델의 창(window)은 메모리로 지불되는 하드 제한입니다. Velocity Context는 모델에게 더 큰 창 대신 접근할 수 있는 무언가를 제공합니다. 자료를 한 번 추가하면—폴더, 저장소, 노트 또는 단순히 진행 중인 대화—그 이후의 모든 질문이 최대 32M 토큰까지 그 자료에 접근할 수 있습니다.
.mfyc 파일이며, 몇 초 만에 구축되고, 어떤 모델보다 오래갑니다.| context | one-time build | answer, median | answer, p90 |
|---|---|---|---|
| 1M tokens | 0.5 s | 703 ms | 890 ms |
| ... |
어떻게 측정되었는지, 어떤 제어가 있었는지, 그리고 결과가 어디서 멈추는지는 기술 보고서 (PDF, 14페이지)에서 확인할 수 있습니다.
방법 자체는 저희가 비공개로 유지합니다.
<a name="measured-not-claimed"></a>
노트북 한 대: RTX 3060 Laptop, 6 GB, Qwen3.5-4B-Q4_K_M, 8192 토큰 창(window).
<div align="center"> <img src="https://raw.githubusercontent.com/Veloresearch/velocity-local-services/HEAD/.github/chart-ruler.svg" alt="RULER averages by context length" width="100%"><br><br> <img src="https://raw.githubusercontent.com/Veloresearch/velocity-local-services/HEAD/.github/chart-ladder.svg" alt="Nine-task averages from 1M to 32M tokens" width="100%"><br><br> <img src="https://raw.githubusercontent.com/Veloresearch/velocity-local-services/HEAD/.github/chart-latency.svg" alt="Median answer time from 1M to 32M tokens" width="100%"> </div> <br>NVIDIA의 RULER는 자체 하드웨어에서, 그 아래에 아무것도 수정하지 않은 상태로 작동합니다:
⚠️ [IMG:N] 형식 토큰은 이미지 placeholder 입니다. 번역하지 말고 원래 위치에 그대로 유지하세요.
| 4k | 16k | 32k | 64k | 128k | |
|---|---|---|---|---|---|
| 13-task average | 100.0 | 74.8 | 85.5 | 89.1 | 86.9 |
128k를 넘어서, 동일한 태스크 정의를 사용한 자체 벤치마크 결과입니다. (개별 보고되었으며, 평균에 포함되지 않음):
| 1M | 5M | 10M | 15M | 20M | 25M | 32M | |
|---|---|---|---|---|---|---|---|
| nine-task average | 97.8 | 95.6 | 100 | 97.8 | 97.8 | 100 | 100 |
개별 태스크 테이블, 셀당 샘플 수 및 저희가 자랑할 만하지 않은 부분은 기술 보고서에서 확인하실 수 있습니다. 모든 벤치마크는 패널을 통해 사용자 자신의 장비에서 실행할 수 있습니다.
<p align="right"><sub><a href="#top">맨 위로 돌아가기</a></sub></p>텍스트, 사진 및 파일, 실시간 전사(live transcription)를 지원하는 음성, 그리고 답변하기 전에 정보를 검색하는 모델.
출처와 함께 먼저 검색합니다. 부품 번호, 가격, 데이터시트 또는 최근 정보에 대한 질문은 모델이 단어를 쓰기 전에 검색됩니다. 페이지가 읽히는 것을 지켜볼 수 있으며, 답변의 모든 주장은 그 출처를 가리킵니다.
정확한 수학 계산. 단위, 상수 및 무선/회로 공식을 다루는 내장 계산기가 모든 단계를 보여줍니다. 모델은 머릿속으로 산술 연산을 수행하지 않습니다.