Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
AbliteratedOutTheBox에서 개발한 추론 시간(inference-time) 작동 엔진을 Strata 환경으로 포팅했습니다. 이 업데이트는 사용자들이 막대한 VRAM이나 모델 파인튜닝 과정 없이도 abliterated 모델의 기능을 쉽게 활용할 수 있도록 돕습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기저는 llama.cpp의 포크(fork)로 추론 시간(inference-time)에 작동하는 abliteration 엔진을 개발해 왔으며, 이제 이 훅(hook)을 Strata로 포팅했습니다. 이것은 엄청난 양의 VRAM이나 파인튜닝(finetuning) 없이도 abliterated 모델을 사용할 수 있는 쉬운 방법으로 작용합니다.
Strata 브랜치는 다음 주소에서, llama.cpp 브랜치는 다음 주소에서 이용할 수 있습니다:
For the Strata Branch https://github.com/heterodoxin/AbliteratedOutTheBox/tree/strata
For the llama.cpp branch https://github.com/heterodoxin/AbliteratedOutTheBox
별점(star)이나 추천(upvote)은 이 프로젝트에 큰 도움이 될 것입니다. Strata 포트는 실험적이며, 전체 모델 동작 및 응답 품질은 아직 검증이 필요합니다. 만약 Strata를 사용하고 있는 분들 중 시도해보고 싶은 분이 계시다면, /u/AccountAntique9327을 통해 제출되는 피드백에 감사드리겠습니다. [link] [comments]