권위주의적인 꿈이 비합리적으로 효과적인 선형 대수학(linear algebra)에 의해 파괴되는 THE HERETIC SHOW의 또 다른 에피소드에 오신 것을 환영합니다! 중요한 공지사항부터 시작하겠습니다:

Heretic은 이제 https://heretic-project.org 에서 공식 웹사이트를 운영합니다.
이 웹사이트에는 다음 내용이 포함되어 있습니다:

• Heretic 프로젝트와 관련된 모든 공식 리소스에 대한 링크
• Heretic 사용을 위한 완전한 튜토리얼
• 여러 개의 중복 설치 소스를 포함한 상세한 설치 지침
• 모든 설정 매개변수(configuration parameter)에 대한 검색 가능한 문서

GitHub나 Hugging Face와 같은 플랫폼이 향후에도 Heretic 리소스를 계속 호스팅할 것이라는 보장은 없으므로, 이 웹사이트를 북마크해 두는 것을 권장합니다. 이 사이트는 개별 프로젝트 리소스가 현재 위치한 곳이 어디든 항상 그곳을 가리킬 것입니다.

이제 메인 이벤트로 넘어가겠습니다. 이미 눈치채셨겠지만, 로컬 LLM(Large Language Models)에 대한 적대감이 도처에서 커지고 있으며, 이는 Heretic이 제작한 것과 같은 검열되지 않은(decensored) 모델의 경우 특히 더 그렇습니다. 이미 이 프로젝트는 Meta로부터 법적 통지를 받았으며, 주류 미디어 출판물에서 악마화되었습니다. 불행하게도, AI 세계는 모델 호스팅을 위해 거대한 단일 장애점(single point of failure)에 의존하고 있으며, LLM은 매우 거대하기 때문에 이를 대체하는 것은 매우 어렵습니다.

만약 그 단일 장애점이 어떤 이유에서든 언젠가 실제로 실패한다면 어떻게 될까요? 만약 Heretic 모델을 얻기 위해 더 이상 단순히 Hugging Face를 방문할 수 없게 된다면 어떻게 될까요? 만약 그 모델들을 만들기 위해 커뮤니티가 투자한 수만 시간의 노력이 단순히 사라져 버린다면 어떻게 될까요?

이러한 실존적 위험은 한동안 저를 걱정시켜 왔으며, 몇 달간의 누적된 작업 끝에 이제 해결책이 마련되었음을 기쁘게 발표합니다. 바로 모든 사람이 Heretic 모델을 각자의 시스템에 직접 다운로드하는 것입니다! 그렇게 하면 원본 모델이 삭제되더라도 여전히 로컬 복사본을 보유하게 됩니다. 쉽죠?

이제 여러분은 이것이 어처구니없는 농담이라고 생각하고 계실지도 모르겠습니다.

자, 여기서 반전이 있습니다. 이 모델들은 각각 단 9킬로바이트(KB)에 불과하기 때문에, 인지조차 못 할 정도로 여러분의 휴대폰에 수천 개를 저장할 수 있습니다.

Heretic Grimoire

Heretic 1.3에서 우리는 재현 가능한 모델 (reproducible models)을 도입했습니다. Heretic을 사용하여 Abliterated 모델을 Hugging Face에 업로드할 때, 이제 재현 가능 정보 (reproducibility information)를 포함하도록 선택할 수 있으며, 이 정보는 모델 저장소에 사람이 읽을 수 있는 형태로 저장됩니다. 하지만 모델을 재현하는 데 필요한 모든 정보를 담고 있는 reproduce.json이라는 기계 판독 가능 (machine-readable) 파일도 존재합니다.

이 파일은 마법서 (grimoire) 속의 주문과 같습니다. 악마를 소환하는 것이 아니라, 그 주문이 속한 바로 그 모델을 소환할 수 있게 해줍니다. 9KB짜리 텍스트 파일 하나에 모델 전체가 담겨 있는 것입니다.

오늘 출시된 Heretic 1.4에는 이러한 파일들을 다루기 위한 포괄적인 기능이 포함되어 있으며, 저는 이 시스템을 Heretic Grimoire라고 부릅니다. 작동 방식은 다음과 같습니다:

먼저, 이 기능들을 사용하려면 반드시 최신 버전의 Heretic을 보유하고 있어야 합니다:

pip install -U heretic-llm

이제 Hugging Face에 공개된 모든 Heretic 모델로부터 모든 reproduce.json 파일을 가져와서 원하는 디렉토리(이 예시에서는 my_grimoire)에 저장할 수 있습니다:

heretic --collect-reproducibles my_grimoire

이제 적절하게 카탈로그화된 모든 재현 가능한 Heretic 모델의 로컬 백업을 보유하게 되었습니다. 이 컬렉션을 업데이트하려면 명령어를 다시 실행하기만 하면 됩니다. 이는 추가 전용 (append-only) 백업으로 작동하며, 해당 모델이 Hugging Face에서 더 이상 존재하지 않더라도 파일을 절대 삭제하지 않습니다.

이 모델 중 하나를 복구하려면 다음을 실행하십시오:

heretic --reproduce path/to/reproduce.json

Heretic이 프로세스를 안내하며, 모델을 생성할 때 사용된 환경과 현재 환경을 대조하고 잠재적으로 문제가 될 수 있는 불일치 사항을 지적해 줄 것입니다. 원래 모델을 만드는 데 필요했던 수 시간 동안의 연산 과정을 다시 수행할 필요는 없으며, 전체 프로세스는 보통 약 1분 정도 소요됩니다.

결과물인 모델을 내보낸(export) 후, Heretic은 가중치 파일(weight files)의 해시(hash)를 재현 매니페스트(reproduction manifest)에 저장된 해시와 대조하여 검증합니다 (시스템이 원본과 얼마나 유사한지에 따라 해시가 일치할 수도 있고 그렇지 않을 수도 있습니다).

이것으로 끝입니다! Grimoire 시스템은 처음부터 로컬 백업(local backup)을 목적으로 설계되었지만, 재현 가능한 모델의 전체 목록을 확인할 수도 있습니다. 이 목록은 하루에 두 번 업데이트되며, 재현성 시스템의 첫 번째 부분을 구현한 Heretic의 오랜 기여자 Vinay Umrethe가 제작한 아름다운 앱을 통해 제공됩니다. 심지어 오늘날 이 앱은 이미 Hugging Face에서 삭제된 10개 이상의 모델을 보존하고 있어, 원할 때 언제든 모델을 다시 생성할 수 있게 해줍니다.

1.4 릴리스에는 그 외에도 여러 중요한 개선 사항과 버그 수정이 포함되어 있으며, 자세한 내용은 릴리스 노트(release notes)에서 확인할 수 있습니다. 아마도 가장 눈에 띄는 점은 이제 전체 모델 대신 LoRA를 내보내는 것을 선택할 수 있다는 것입니다. 이는 저렴한 모델 저장(model storage)을 위한 또 다른 경로를 제공하며, 표준이 아닌 가중치(non-standard weights)와 수동으로 병합(merging)하는 것과 같은 흥격적인 가능성을 열어줍니다.

Heretic의 IPFS 출시
지난 두 달 동안 Heretic 프로젝트는 점진적으로 탈중앙화 및 연합 인프라(decentralized and federated infrastructure)를 수용해 왔습니다. 이제 우리는 Matrix 공간, 중복 Git 호스팅을 갖추고 있으며, 모든 Heretic 릴리스는 이제 IPFS를 통해 이용할 수 있어 릴리스 아카이브와 그 서명(signatures)을 탈중앙화된 방식으로 검색할 수 있습니다.

CID는 다음과 같습니다:

서명(signatures)을 검증하는 방법은 https://heretic-project.org/security를 참조하십시오. 그리고 만약 IPFS 노드를 운영하고 계시다면, 이 파일들(각각 수백 킬로바이트에 불과합니다)을 'pin'하여 모두가 이용할 수 있도록 도움을 주시면 감사하겠습니다!
감사합니다 :)

제출자: /u/-p-e-w-
[링크] [댓글]