저는 HF와 PyTorch용 (완성되거나 중단된) jacobian lens 프로젝트를 많이 봤지만, GGUF나 llama.cpp용은 아무것도 못 봤습니다. 그래서 이 문제를 해결하기 위해 xhigh에 Fable 5를 설정했습니다 (물론 인간의 면밀한 감독 하에 😎). Anthropic의 논문과 코드를 영감으로 받았고, 물론 제가 가장 좋아하는 추론 엔진인 llama.cpp와 GGML에서도 영감을 받았습니다. 저는 코드 검토와 몇 번의 테스트 통과를 거쳤습니다. 이 프로젝트는 모델 관찰 및 j-space 스와핑/절제(abliteration)/조향을 위한 네이티브 GGUF 서버를 갖추고 있습니다 (llama.cpp를 기반으로 하고 그것과 git 동기화됨). 또한 실행 중인 llama-server 모델도 관찰할 수 있지만, 조향은 할 수 없습니다. dense 및 MoE GGUF와 함께 작동합니다. lens의 메모리 요구 사항은 대략 1/8 비율로 모델 크기에 비례하므로, 예를 들어 160 GB 크기의 모델(예: Qwen3.5-397B UD-Q3_K_XL)의 경우 lens를 위해 추가적으로 20 GB의 RAM이 필요할 것입니다. https://github.com/igorbarshteyn/jlens-gguf Anthropic의 보도 자료 및 논문: https://www.anthropic.com/research/global-workspace Anthropic의 코드: https://github.com/anthropics/jacobian-lens Anthropic의 내용을 읽을 시간이 없는 사람들을 위한 Matthew Berman의 설명 영상: https://youtu.be/bjHuGNo3spk 즐겁게 사용하시고 재미있게 보내세요! /u/Responsible_Fig_1271 님이 제출했습니다. [링크] [댓글]