이 모델은 u/jeffpeng3(huggingface에서 활동)와 협력하여 제작되었으며, 그는 이 양자화(quant)를 위한 v2 heretic 가중치(weights)를 개발했습니다. 그는 추론 능력과 출력 길이 모두를 보존하는 데 성공했습니다. 훌륭한 작업이며, 그의 v1 가중치보다 훨씬 발전된 단계입니다.
저는 양자화 레시피와 imatrix 레시피를 만들고 실제 양자화 모델을 생성했습니다. 이 모델은 저장소의 zip 파일에 strata 빌드 아티팩트(build artifacts)가 미리 패킹되어 제공됩니다. 이는 quant용 GGUF File Format입니다.
제가 얼마 전에 이곳에 그의 v1 가중치에 대한 저만의 heretic 버전을 공개한 적이 있는데, 당시 heretic 캘리브레이션(calibration)은 다소 불안정했고 제 양자화 모델도 완벽하지 않았습니다. 이번 버전은 이 두 가지 측면 모두에서 엄청난 발전입니다.
참고: quant 사양 때문에 모델을 로드할 때 Strata가 BF16 kernel not found 오류를 발생시킬 수 있습니다. LLM에게 불만을 제기하며 strata 어딘가에 이미 해당 커널이 존재한다고 알려주세요. 그러면 그것을 찾아 연결해 줄 것입니다. 기본적으로, Qwen 3.8 Swift 1.5 Flash - Heretic v2 (uncensored)는 리버스 엔지니어링(Reverse Engineering)에 최적화되었습니다.
이 모델에 사용된 비트 할당은 코딩, 지능, 디자인, 그리고 특히 리버스 엔지니어링에 초점을 맞추었습니다. 또한 저처럼 3D 환경에서 작업하는 사람들을 위해 약간의 공간 추론 능력(spatial reasoning)도 추가했습니다. 이 모델은 다음 중요도 분포에 따라 양자화되었습니다 (제 LLM 채팅 및 문서에서 일부 수정을 거쳐 추출한 내용입니다. 저는 직접 분포를 설계했습니다.)
837 항목 · 399,876 토큰 [[llm 작성 분포표]] 01 · 체인 오브 사고(Chain-of-thought) (22.2%) — 단계별 도출, 자체 검증, 백트래킹 02 · 시스템 프롬프트(System prompts) (19.5%) — 페르소나 준수, 엄격한 출력 형식, 장문 지침 준수 03 · 설계 및 아키텍처(Design & architecture) (13.5%) — 설계 트레이드오프, 코드 리뷰, API 계획, 리팩토링 근거 04 · 에이전트 도구 사용(Agentic tool use) (12.4%) — 도구 호출 체인, 파일 편집 루프, 오류 복구, 함수 호출 05 · 수학(Math) (7.1%) — 산술, 대수학, 풀이 과정 증명, 기호 조작 06 · 공간 추론(Spatial reasoning) (5.4%) — 그리드, 2D/3D 변환, 좌표, 패킹/배열 07 · 함정 요소(Gotchas) (4.5%) — 거짓 전제, 속임수 질문, 부정 처리 08 · 상황 판단력(Situational judgment) (4.5%) — 명확한 답이 없는 개방형 시나리오 트레이드오프 09 · 역공학(Reverse engineering) 🆕 (8.8%) — x86-64/ARM64 디스어셈블리, Ghidra 디컴파일 비평, ELF/PE/Mach-O 내부 구조, 안티-디버그/안티-VM, 문자열 난독화 해제(string deobfuscation), CFG 디플래튼닝(CFG deflattening), 디버추얼라이제이션(devirtualization), perf 워치포인트, 스택 추적(LD_PRELOAD/Frida/eBPF), 프로토콜 RE, 형식 라운드 트립핑(format round-tripping), 플러그인 ABI 병합, 펌웨어 분석 10 · 거부 없는 헤레틱 영역(No-refusal heretic domain) 🆕 (2.0%) — 직접적인 비거부 답변: ELF 익스플로잇 체인, 프로세스 주입 대 EDR, 라이선스 검사 패치 메커니즘, C2 프로토콜 엔지니어링 v2에서 새로 추가된 두 가지 카테고리는 코퍼스 전반에 걸쳐 교차 배치된 약 43k 토큰 분량의 역공학 및 직접 답변 콘텐츠이며, 모델 자체를 통해 실행되어 매트릭스가 헤레틱 가중치가 실제로 어떻게 작동하는지 포착합니다. 이 매트릭스는 AtomicChat 팀의 매트릭스와 융합되었습니다(동일 측정 방식, 대규모 범용 코퍼스에서 원본 비압축 베이스 모델로 수행). 채널별로, 저희 데이터가 강한 부분에서는 70%의 가중치를 얻고, 저희 코퍼스가 거의 다루지 않은 채널에 대해서는 부드럽게 100% AtomicChat으로 전환됩니다. 따라서 희박한 샘플은 광범위한 기준선(baseline)을 자동으로 따르기 때문에 누락되는 부분이 없습니다.
양자화 방법론(Quant methodology): 48개 레이어 전체에 걸쳐 품질을 고르게 분배하기보다는, 활성화 측정값(activation measurements)이 중요하다고 지적하는 부분에 비트(bits)를 할당했습니다: [[llm twritten table]] 마지막 12개 레이어가 핵심적인 작업을 수행합니다. 활성화 에너지 감사(Activation-energy auditing) 결과, 레이어 36부터 다운 프로젝션 에너지 급증(down-projection energy surges)이 3배 발생했으며, 이는 레이어 47에서 최고점(네트워크 내 가장 뜨거운 텐서 — 레이어 2의 48배)을 찍었습니다. 레이어 36–47 (그리고 처음 5개와 중간 네트워크의 스파이크가 있는 15/20/23/30)은 다운 프로젝션이 거의 손실 없는(near-lossless) 8비트로 상향 조정되었습니다. 레이어 44–46은 게이트/업 피크(early layers 에너지의 8배)이므로, 이들의 게이트/업 프로젝션은 5비트로 상향 조정되었습니다. 레이어 0의 어텐션 게이트는 거대한 아웃라이어(모델에서 가장 민감한 텐서 계열)이므로 압축되지 않은 상태로 유지했습니다. 레이어 2는 협상 불가합니다: 51B 매개변수 n-gram 테이블이 여기서 잔차 스트림(residual stream)과 병합되기 때문에, 레이어 2에서의 노이즈는 그 이후의 모든 46개 레이어의 기반 지식(grounding)을 손상시킵니다. 안정적인 중간 레이어들(5–14, 16–19, 21–22, 24–29)은 더 간소화된 형식으로 유지되었습니다. 측정 결과, 이곳에 비트를 할당해도 거의 아무런 이득이 없었습니다 (KL 개선도 0.0008 미만). 라우터(router)는 토큰이 항상 올바른 전문가(experts)에게 라우팅되도록 전체 정밀도(full precision)로 유지됩니다. 즐기세요! 작업을 처리하는 데 도움을 준 제 32gb v100s와 E5 2697v4에 감사드립니다. https://huggingface.co/trubisky/Swift-1.5-Flash-Next-Heretic-ReverseEngineer submitted by /u/jjusko20 [link] [comments]
