r/LocalLLaMA 커뮤니티 여러분께. Blockway 팀 소속입니다 (공개 고지: 이 모델은 저희의 모델입니다). 2주 전, 저희는 이곳에 Volundr 32B Preview를 게시했으며, 여러분들께서 어떤 부분이 잘못되었는지 매우 직설적으로 지적해 주셨습니다. 이것이 v1이며, 대부분의 작업은 여러분들이 지적했던 부분을 반영하여 진행되었습니다.
PREVIEW 대비 v1에서 개선된 사항:
- "반복 루프가 발생합니다." SWE-bench 태스크에서의 반복 루프: 36/50 → 0/50으로 감소했습니다.
- "영원히 생각하는 것 같습니다." 추론 단계(Reasoning steps)가 32K에서 잘리던 문제가 해결되었습니다. 이제 중앙값은 120 토큰이고 가장 긴 길이는 12K에 달합니다.
- "접두사 캐싱(prefix caching)이 없어 매번 전체 히스토리를 다시 읽습니다." SGLang 빌드: v1에서는 세션 연속성(session continuation) 기능이 추가되어, 후속 턴에서 모델의 상태를 재사용하고 이전 내용을 다시 채우는 과정(re-prefilling)을 생략합니다. 후속 턴은 에이전트 리플레이 테스트에서 (Drafter 사용 시 중앙값 1.6초 대비) 2.9배 빨라졌으며, 그리디(greedy)-동등 출력물(바이트 단위로 동일하지는 않지만, 캐시된 접두사는 다른 조각으로 미리 채워집니다).
- GGUF: 커스텀 서버 코드는 추가하지 않고 llama-server의 기본
--ctx-checkpoints 프롬프트 캐싱을 사용합니다. 저희 포크(fork)는 모델 아키텍처만 추가했습니다.
에이전트 결과 개선:
- SWE-bench Verified (50개 태스크 서브셋): 22 → 27/50
- $\tau^2$-bench: 89 → 92/120
- 중앙값 SWE 태스크 시간: 124분 → 82분
"소비자용 GPU에서 작동하게 해주세요." → Agens Engine (MIT)
저희는 Agens Engine을 MIT 라이선스 하에 오픈 소스로 공개합니다. 이 엔진은 다음과 같은 하이브리드 아키텍처를 위해 구축된 추론 엔진입니다: 72개 레이어 중 54개가 KV 캐시 대신 고정 크기 상태(fixed-size state)를 유지하며, 엔진 자체가 이를 중심으로 설계되었습니다. 동일한 GPU와 v1 INT4 가중치 및 Drafter를 사용하고 단일 스트림으로 작동할 때: Agens Engine은 자체 SGLang 빌드보다 1.4–1.6배 빠르게 디코딩합니다 (사고 과정을 거치는 코드의 경우 최대 1.8배).
- 채팅(Chat): 58 → 86 토큰/초
- 코드(Code): 79 → 113 토큰/초
- 에이전트 (8K 컨텍스트): 91 → 121 토큰/초
- JSON: 125 → 199 토큰/초
이는 각 측면별 단일 실행 결과이며, 오직 저희 SGLang 빌드와 비교한 것이지, 기본 SGLang, vLLM 또는 llama.cpp와 비교한 것은 아니며, 또한 단일 스트림으로만 테스트되었습니다.
새로운 빌드: Agens-Volundr-32B-v1-Engine-16GB. 이 모델은 2.85 비트/가중치(혼합 2/3/4비트) 수준이며, 16GB 메모리 예산 내에서 262K 컨텍스트(저희는 최대 239K까지 측정했습니다)를 제공하며, 오직 Agens Engine에서만 실행됩니다.
12 GB 버전이 로드맵에 있습니다. 솔직한 주의사항: 16 GB 예산 내에서의 속도, 단일 대화, v1 drafter 사용 시: 짧은 컨텍스트 길이 기준: 90 (채팅) / 118 (코드) / 107 (사고) / 112 (도구) / 139 (에이전트, 8K) tok/s; 219K 토큰 문서 처리 후 속도: 62 / 86 / 77 / 69 / 75 tok/s; 219K 프롬프트에 대한 첫 토큰까지 걸리는 시간은 151초. 예산 내에서 대화가 진행될 경우 최대 239K 토큰까지 처리 가능하며, 다운로드 크기는 25 GB입니다. 이 수치는 엔진의 하드 16 GiB 제한(최대 15.5 GiB)을 가진 48 GB 카드에서 측정되었으며, 실제 16 GB 카드가 아닙니다. 디스플레이를 구동하는 GPU에서는 컨텍스트 길이를 더 짧게 사용하십시오. 실제 카드, 특히 노트북 GPU는 속도가 느릴 수 있습니다. 여러분의 수치를 공유해 주시면 추가하겠습니다. 이 비트 폭(bit-width)에서는 품질이 떨어집니다. GPQA 점수는 bf16에서 73.7점 대 80.3점입니다 (각 4회 실행 중 최고 기록). 코딩 능력은 유지됩니다: HumanEval은 INT4의 73.8% 대비 73.2%를 기록했습니다 (1회 실행). bf16과의 Top-1 일치도는 90.4%이며, KL 값은 0.117입니다. 이 빌드는 리더보드 점수용이 아니라 로컬 구동용입니다. Linux, CUDA 12.9가 포함된 NVIDIA 드라이버, NVIDIA 컨테이너 툴킷, 그리고 262K를 위한 32 GB 이상의 호스트 RAM이 필요합니다.
docker run --gpus device=0 --ipc=host -p 30000:30000 -v /path/to/Agens-Volundr-32B-v1-Engine-16GB:/model:ro -v /path/to/Agens-Volundr-32B-v1-DFlash2:/drafter:ro ghcr.io/blockwayz/agens-engine:1.0.0 --profile 16gb --model /model --drafter /drafter
강점 (STRENGTHS) (비교 모델과 동일한 하네스 및 설정)
- 경쟁 코딩: LiveCodeBench v6에서 67.9점 (2회 실행 중 최고 기록), Qwen3.8-27B 대비 +8.4점
- 경쟁 수학: AIME 2025에서 80.0점 (2회 실행 중 최고 기록), Qwen3.8-27B 대비 +6.7점
- 긴 컨텍스트의 저렴함 유지: 72개 레이어 중 단 18개만 KV 캐시를 유지합니다.
- INT4 (24.6 GB)는 단일 131K 토큰 입력에 대해 48 GB GPU 하나에서 작동하며, 262K로 설정된 창(검증됨: 107K)도 가능합니다.
- 디코딩 속도는 1K부터 128K까지 일정하게 유지됩니다.
- DFlash2 drafter가 오늘 출시됩니다: JSON / 구조화된 출력은 최대 3.0배 증가 (48 GB GPU 하나에서 INT4로 125 tok/s; 쌍으로 bf16에서 76 tok/s)
- 코드 속도는 1.9–2.2배, 사고(Thinking) 속도는 1.3–1.5배
모든 실행 결과는 모델 카드 각주에 나와 있습니다.) 벤치마크 미리보기 v1 SWE-bench Verified (50) 22/50 27/50 τ²-bench 89/120 92/120 LiveCodeBench v6 63.4 67.9 AIME 2025 76.7 80.0 MMLU-Pro 79.9 80.0 MATH-500 98.2 96.8 HumanEval 81.7 78.7 GPQA Diamond 84.3 80.3 CMMLU 86.5 85.9 IFEval 87.6 87.2 IFBench 66.3 64.3 NIAH (to 107K) 100% 100% 몇몇 점수가 하락했습니다(GPQA, HumanEval, IFBench). HumanEval과 IFBench의 하락은 실행 결과의 표준 오차 범위 내에 있지만, GPQA는 그렇지 않습니다. 이는 에이전트 동작을 위해 조정하고 추론 과정을 단축한 데 따른 트레이드오프입니다. Harness 설정은 결과표 아래 각주에 있습니다: huggingface.co/Blockway/Agens-Volundr-32B-v1#results-same-harness-for-every-row HF에서 독립적인 벤치마크 작성 글을 올려준 mmssix에게 감사드립니다. 위 내용의 상당 부분은 그곳에서 시작되었습니다.
알려진 한계점
32B는 최첨단 모델(frontier model)이 아니며, 저희는 그렇게 주장하지 않습니다. SGLang과 llama.cpp에는 아직 저희 빌드가 필요합니다. 다음으로 아키텍처를 llama.cpp 메인라인에 통합하는 작업을 진행할 예정이며, 첫 번째 PR이 열리면 여기에 게시하겠습니다. 기본 vLLM으로는 로드할 수 없습니다. llama.cpp 경로에는 아직 Metal/Mac 지원이 없습니다.
Agens Engine 1.0은 텍스트 전용입니다.
링크 모음 (모든 다섯 개 리포지토리):
https://huggingface.co/collections/Blockway/agens-volundr-32b-v1-6ad4817aa6e143550bec1122
가중치(Weights): huggingface.co/Blockway/Agens-Volundr-32B-v1 (-INT4, -GGUF, -DFlash2, -Engine-16GB)
Agens Engine (MIT): github.com/BlockWayz/agens-engine · ghcr.io/blockwayz/agens-engine:1.0.0
SGLang: ghcr.io/blockwayz/agens-sglang:v1-sm89 (48 GB급 GPU) / v1-sm90 (141 GB급 GPU)
llama.cpp 포크: github.com/BlockWayz/llama.cpp (branch volundr)
다음 며칠 동안 댓글 창에서 소통하겠습니다.
https://preview.redd.it/4d8or6olv6wh1.png?width=2360&format=png&auto=webp&s=a83cbce77656ec8d9f28d9a3f9a5bfb8b96ce989 https://preview.redd.it/koyrx6olv6wh1.png?width=2360&format=png&auto=webp&s=6817372b70f3d4c7230fed90593c0a7015cbcc18 /u/ComfortableKindly507 사용자가 r/LocalLLaMA에 제출함 [링크] [댓글]
