OpenMythos: Claude Mythos의 이론적 재구성 및 아키텍처 추측을 담은 오픈 소스 프로젝트
요약
OpenMythos는 Claude Mythos의 아키텍처를 이론적으로 재구성하고 추측한 오픈 소스 프로젝트입니다. 반복적 심층 트랜스포머, MoE, ACT 중단 메커니즘 등 모델의 내부 작동 원리에 대한 가설을 제시합니다.
핵심 포인트
- 반복적 심층 트랜스포머 구조에 대한 이론적 재구성
- 5% 활성화 비율을 가진 MoE 기반 아키텍처 가설
- 루프 인덱스 기반 위치 임베딩 및 ACT 중단 메커니즘
- 연속적 은닉 사고를 통한 너비 우선 탐색 방식 제안
OpenMythos: Claude Mythos의 이론적 재구성 (theoretical restructuring)이며, README 파일에 모든 아키텍처 추측이 기록되어 있는 오픈 소스 (open source) 프로젝트입니다.
OpenMythos는 기본적으로 작동하는 공공 가설 문서 (public hypothesis document)입니다.
그렇다면 Mythos가 실제로 무엇이라고 주장하고 있을까요?
반복적 심층 트랜스포머 (Recursive Deep Transformer)는 독특한 레이어들로 구성된 깊은 스택이 아닙니다.
- 5% 활성화 비율을 가진 MoE (Mixture of Experts), 따라서 실제 파라미터 수는 계산량이 아닌 저장량입니다.
- 각 반복이 서로 다른 계산 단계처럼 작동하게 만드는 루프 인덱스 기반 위치 임베딩 (loop-indexed positional embedding).
- 모델이 각 토큰(token)에 대해 언제 생각을 마칠지 결정하게 하는 ACT 중단 (ACT stopping).
여러 후속 단계를 동시에 인코딩할 수 있는 연속적 은닉 사고 (continuous latent thoughts)는 기본적으로 단일 순전파 (forward pass) 내에서의 너비 우선 탐색 (breadth-first search)입니다.
안정성을 위한 Parcae, 중단을 위한 범용 트랜스포머 (Universal Transformers). MoE 라우팅을 위한 DeepSeek.
리포지토리 (Repo) 👇
[IMG:1]
AI 자동 생성 콘텐츠
본 콘텐츠는 X @DeepTechTR (AI/오픈소스)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기