Kvark Sparkle 1.1 출시 (Qwen3.8-27B 파인튜닝, Apache 2.0): '문서에 없음'을 말하는 에이전트 문서 QA 모델

저희는 Qwen3.8-27B 라인의 두 번째 모델인 Kvark Sparkle 1.1을 출시했습니다. 오픈 웨이트(Open weights)이며, Apache 2.0 라이선스를 따르고, MTP head가 유지되었으며, BF16 / FP8 / GGUF 포맷으로 제공됩니다.

용도: 문서 작업입니다. 사용자는 이 모델에 문서 기반 위에서 search 및 read_page 도구를 부여합니다. 모델은 검색을 수행하고, 페이지를 읽고, 해당 구절(passage)을 바탕으로 답변하며, 연속 세 번의 검색이 사실과 일치하지 않으면 꾸며내지 않고 '문서에 없음(NOT IN DOCUMENTS)'이라고 말하는 방식으로 작동합니다.

작동 방식: Sparkle 1.0 위에 LoRA SFT를 적용했습니다 (공개 법률 코퍼스 기반 에이전트 트랙젝토리, MuSiQue 다단계 문서 QA, 보유 데이터). 또한 시스템 프롬프트에 포함된 짧은 중지 규칙(stop rule)을 추가했습니다.

문서 작업 성능 (GroundedWork, 저희의 에이전트적 RAG 평가: 공개 세르비아 문서 기반, 사고 과정 추론, LLM 심사 vs 골드 답변, 질문당 3회 실행):

	Qwen3.8-27B	Sparkle 1.0	Sparkle 1.0 + 중지 규칙	Sparkle 1.1 + 중지 규칙
문서 QA (70개 질문 × 3)	85.7	86.2	89.5	91.0
답변이 문서에 없는 경우, 정확하게 거절 (98개 × 3)	아직 실행 안 함	36%	74%	91.5%

*참고: 중지 규칙만으로도 1.0의 상당한 작업량(36%에서 74%)을 수행합니다. 추가적인 학습은 나머지 부분을 담당하며, 동일한 규칙 하에 1.0 대비 +17.5점 향상을 보였습니다. 기본 Qwen 모델의 거절 세트 성능은 아직 측정되지 않았으며, 추후 여기에 추가하겠습니다.

Qwen3.8-27B 대비 일반 능력 비교 (동일한 평가 환경, 쌍별 비교):

	Qwen3.8-27B	Sparkle 1.1	중앙값 추론 토큰 수 감소량 (기반 → 1.1)
GPQA Diamond	88.8	88.3	7,670 → 4,471 (−42%)
AIME 2026	95.8	92.5	14,822 → 8,732
HMMT	86.1	88.1	21,182 → 13,540
LiveCodeBench	82.0	86.0	15,276 → 8,607
IFEval	90.8	91.1	695 → 646 (−7%)
MMLU-Pro	83.6	84.0	708 → 518
FRAMES	70.6	69.8	1,228 → 644 (−48%)

정확도 차이 중 유의미한 것은 없습니다 (95% 신뢰 구간: 동일 하드웨어에서 답변 시간은 32.9초 대 40.8초).

공개 에이전트 및 장문맥 세트 (FP8, vLLM, 사고 과정): | | Qwen3.8-27B | Sparkle 1.1 | |---|---|---| |
BrowseComp-Plus (830 queries, BM25, 공식 심사 프롬프트) | 22. 중앙값 출력 토큰 | | LongBench v2 (503) | 58.6 | 57.7 | |
SWE-bench Verified (500, mini-swe-agent) | 81.8 | 73.0 |

스스로 알아내지 않아도 되는 약점: - SWE-bench는 기본 모델보다 성능이 현저히 낮습니다. 짧은 사고 과정(thinking)은 에이전트 코딩에서 정확도를 떨어뜨립니다. 코딩에는 기본 모델을 사용하십시오. - 여러 문서에 걸친 링크가 필요한 질문이 취약점입니다. - 세르비아어 문서를 대상으로 한 영어 질문은 세르비아어 질문보다 성능이 떨어집니다. - 64k를 넘어서는 것은 측정되지 않았으며, 별도의 안전성 평가(safety eval)는 없습니다.
실행 방법: vllm serve Egzakta/Kvark-Sparkle-1.1-27B-FP8 \ --max-model-len 131072 --kv-cache-dtype fp8 \ --reasoning-parser qwen3 \ --enable-auto-tool-choice --tool-call-parser qwen3_coder \ --speculative-config '{"method":"mtp","num_speculative_tokens":3}'
문서 에이전트의 경우, 카드에서 가져온 중지 규칙(stop rule)을 시스템 프롬프트에 넣으면 속도가 많이 떨어집니다.

Belgrade의 Egzakta AI 연구소에서 제작했습니다. 저희는 문서를 API로 전송할 수 없는 조직을 위해 온프레미스(on-prem) 환경에서 이를 실행합니다. 이것이 바로 '모르겠다(I don't know)'라는 응답이 리더보드의 다른 점수보다 우리에게 더 중요하게 여겨지는 이유입니다. 학습 데이터, 중지 규칙 또는 평가 프레임워크에 대한 질문에 기꺼이 답변드리겠습니다. 자체 문서 세트로 테스트해 보신다면, 어느 부분에서 문제가 발생하는지 보고 싶습니다.
제출자: /u/Ill_Contribution_717 [링크] [댓글]

Kvark Sparkle 1.1 출시 (Qwen3.8-27B 파인튜닝, Apache 2.0): '문서에 없음'을 말하는 에이전트 문서 QA 모델

요약

핵심 포인트

댓글