5개월 후: open-deepthink에 완전한 지식 증류 (Knowledge Distillation) 모드 탑재

안녕하세요 r/LocalLLaMA 여러분, 작년 9월쯤 제가 이 프로젝트(당시 이름은 local-deepthink였습니다)에 대해 게시물을 올렸던 것을 기억하시는 분들도 계실 겁니다. 핵심 아이디어는 일반적인 평면적인 멀티 에이전트 (multi-agent) 설정을 넘어, 깊이를 만들어내는 무언가를 구축하는 것이었습니다. 이미 llama.cpp를 통해 로컬에서 훌륭하게 작동하거나 OpenRouter를 통해 실행할 수 있었고, 진화된 네트워크를 재사용할 수 있도록 내보낼 수도 있었습니다. 하지만 증류 (distillation) 부분은 여전히 완성되어 가는 과정에 있었습니다. 이제 이 새로운 모드에서는 고정된 7계층 QNN 토폴로지 (topology)를 실행하고, 토큰 예산 (token budget)을 설정한 뒤 실행하기만 하면 됩니다. 에이전트들은 세션 중에 실시간으로 진화하며—성능이 낮은 에이전트를 교체하고, 지식을 상속받으며, 협업을 심화합니다. 마지막에는 대상 LLM (Large Language Model)으로부터 추출할 수 있는 모든 지식의 발달 흔적을 포함하는 깨끗하고 구조화된 JSON 데이터셋을 얻게 됩니다: 모든 에포크 (epoch), 각 에이전트의 하위 작업 추론 (sub-task reasoning), 모든 돌연변이 (mutation), 모든 난이도 상승, 그리고 진화 이력에 대한 전체 topology_archive.json이 포함됩니다.

예를 들어, 여러분의 파인튜닝 (fine-tune)에 Gemini가 알고 있는 신지학 (theosophy)에 관한 모든 것을 담고 싶다고 가정해 봅시다. 고위 오컬티즘 (high-occultism)은 저의 특별한 사용 사례인데, 어떤 이유에서인지 Google 개발자들이 Gemini 학습에 소외된 신지학에 관한 모든 책을 집어넣었습니다. 만약 여러분이 신지학을 생물학에 대한 가설과 결합한 Gemini의 답변을 원한다면 어떻게 해야 할까요? 저는 겸허히 이 증류 (distillation) 기술의 사용을 제안합니다. 폐쇄형 모델 (closed source model)은 뛰어나지만 여러분의 오픈 소스 모델 (open source model)은 무지한 두 가지 주제를 생각할 수 있다면, 이 기술을 사용하여 구체적인 질문을 구성하기 전에 가능한 모든 가설을 증류해 보십시오. 이 기술은 여러분이 원하는 환각 (hallucination)의 깊이까지 주제의 기초를 파악할 것입니다. 예를 들어, 이탈리아 요리에 대한 질문과 결합된 천체생물학 (astrobiology)을 비합리적인 수준의 추상화와 함께 다룰 수 있습니다. Open-deepthink는 비합리적인 과잉을 위한 궁극적인 소프트웨어이자 기술 모음이라고 할 수 있습니다.

저는 오늘 beta-0.0.3 버전을 출시했습니다 (11개의 버그 수정, 195/195 테스트 통과, 이제 공식적으로 open-deepthink로 리브랜딩되었으며, 에이전트별 모델 선택 기능 및 로컬 안정성이 향상되었습니다). 직접 시도해보고 싶으시다면 저장소(repo)는 여기 있습니다: https://github.com/iblameandrew/open-deepthink. 만약 API 가격으로 grok-heavy한 성능을 원하신다면, 이것을 꼭 시도해 보세요. 여러분은 원하는 어떤 모델이든 사용하여, 디버깅에 필요한 무엇이든 생각하거나... 혹은 그 에이전트 군단이 어떤 어려운 이론적 설계(theory crafting) 문제를 고민하게 만들 수 있는 무제한의 에이전트 군단(원한다면 수백 명까지)을 얻게 됩니다. 만약 opencode가 해결책을 찾아주지 못해 문제에 막혀 있다면... 코드를 읽으며 시간을 낭비하기 전에, 전체 스택 트레이스(stack trace)를 20~100개의 에이전트를 가진 open-deepthink 토폴로지(topology)에 쏟아부으세요. 100% 상황이 진전될 것입니다. 주식을 검토하고 싶은데 grok-heavy한 16개의 에이전트가 제공하는 70초의 사고 시간(think-time)이 충분하지 않다고 느껴지시나요? OpenRouter 크레딧이 50달러 정도 있다고 말씀하시겠군요? 좋습니다. open-deepthink의 브레인스토밍(brainstorm) 모드에서 10x10(100개 에이전트) 토폴로지를 가동하고, 여러분의 문제에 대해 40 에포크(epoch, 60시간) 동안 성찰하게 만드세요. 솔직히 말해서: 결국 과하게 조리된 비싼 슬롭(slop, 저질 결과물)을 얻게 되겠지만, 그것은 여러분만의 '과하게 조리된 슬롭'이 될 것입니다. 그리고 작업이 끝날 때쯤이면, 이것이 AI가 할 수 있는 최선이었다는 것을 알게 될 것입니다. 꼭 한번 시도해 보시고, 아직 지원하지 않으셨다면 지원해 주세요. 다시 한번 확인해 보시기 바랍니다. 건승을 빕니다, Andrew. /u/causality-ai가 r/LocalLLaMA에 게시함 [link] [comments]