여러분 안녕하세요! 저희는 오래된 자유 소프트웨어 커뮤니티인 HardenedLinux입니다. SonicBoom은 저희의 오픈 소스 (GPLv3) 추론 런타임이며, 일반적인 Python 스택의 컴파일러 우선 대안입니다. 빌드 시나 실행 시 Python이 전혀 필요 없으며, 하나의 공유 라이브러리, C ABI, 그리고 첫 번째 등급 언어(first-class language)인 Guile Scheme을 사용합니다.
데스크톱 RTX 3050 8 GB에서 v0.0.3으로 테스트한 결과 (동일 세션, 동일 GGUF, vs llama.cpp -ngl 99): Gemma 4 E4B Q3_K_M 모델 디코드(tg64) 및 프리필(pp512)의 경우, SonicBoom은 llama.cpp 대비 각각 1.18배, 1.00배의 성능을 보였습니다. Qwen2.5-0.5B Q4_K_M의 경우 1.12배, 1.09배를 기록했습니다.
실제 다중 턴 에이전트 워크로드에서는 v0.0.2 대비 토큰 첫 출력까지 걸리는 시간이 여러 배 단축되었습니다 (프리픽스 재사용 + 플랜 캐싱). 출력된 토큰은 저희의 골든 런(golden runs)과 비트 단위로 동일하며, 프리픽스 재사용 역시 전체 프리필과 비트 단위로 동일합니다. 어떻게 했냐고요? 모든 그래프 최적화와 커널 생성은 MLIR 다이얼렉트인 Boom IR에서 이루어지며, 뜨겁게 양자화된 행렬 곱셈(hot quantized matmuls)은 속성 기반 ggml 파생 커널로 실행됩니다. 모든 최적화에는 스위치와 제거 가능한 수치(ablation number)가 있어 어떤 것이 성능 향상에 얼마나 기여하는지 확인할 수 있습니다.
저희가 솔직하게 부족한 점을 말씀드리자면, 깊이 512에서의 Qwen 디코드는 0.98배이며, 저희는 GPU를 단 하나만 가지고 있습니다. 바로 이 때문에 여러분의 도움이 필요합니다.
초대드립니다: 모든 릴리스마다 벤치마크 이슈가 올라옵니다. 만약 NVIDIA GPU(어떤 세대든 — Ada, Hopper, Blackwell 특히 환영)를 가지고 계시다면, 하나의 명령어로 보고서를 생성할 수 있습니다. 저희가 결과를 게시하는 모든 사람에게는 README에 크레딧이 주어집니다.
→ v0.0.3 벤치마크 이슈: https://github.com/hardenedlinux/SonicBoom/issues/2 결과와 문제점은 여기에 올리기보다는 해당 이슈에 올려주시면 한 곳에 모아 관리하기 좋습니다. submitted by /u/nalaginrut [link] [comments]