Apostate 엔진 미리 보기
요약
사용자가 'Apostate'라는 abliteration engine을 개발하고 있음을 공유했습니다. 기존의 직교 투영 방식의 경직성을 극복하기 위해 사각 투영(oblique projection)을 구현했으며, 다음 단계로는 KL 다이버전스를 보존하는 전단 매핑(shear mapping) 도입을 계획 중입니다.
핵심 포인트
- Apostate 엔진 개발 현황 공유
- 직교 투영의 한계를 극복하기 위해 사각 투영 적용
- 향후 KL 다이버전스 보존 전단 매핑 추가 예정
저는 abliteration engine인 Apostate를 개발하고 있습니다. 단순히 직교 투영(orthogonal projection)만으로는 최적의 거절 방향을 구현하기에 너무 경직된다는 것을 알게 되어, 사각 투영(oblique projection)을 구현했습니다. 다음 단계로는 KL 다이버전스(KL divergence)를 더 보존할 수 있도록 전단 매핑(shear mapping)을 포함하는 것입니다. 제 프로젝트를 지켜봐 주셔서 감사합니다. 미래/정식 릴리스에서는 훨씬 더 좋아질 것입니다.
제출자: /u/AccountAntique9327
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0