OpenMythos — Claude 의 내부 구조를 공개 논문만으로 역추적해본 오픈소스 시도

요약

OpenMythos는 Anthropic의 Claude 모델이 사용하는 'Mythos' 아키텍처를 공개된 연구 논문만을 활용하여 이론적으로 재구성한 오픈소스 프로젝트입니다. 이 프로젝트는 Mythos가 같은 레이어를 여러 번 반복하는 Recurrent-Depth Transformer 구조를 채택하고 있다는 가설을 기반으로 합니다. 이를 통해 최신 LLM의 내부 작동 원리를 학술적 자료만으로 역추적하고 구현하려는 시도를 보여줍니다.

핵심 포인트

• Claude 모델의 'Mythos' 아키텍처를 공개 논문 기반으로 재구성하는 오픈소스 프로젝트입니다.
• 핵심 가설은 Mythos가 Recurrent-Depth Transformer(Looped) 구조를 사용한다는 것입니다.
• 최신 LLM의 내부 작동 원리를 학술적 문헌 분석을 통해 역추적하고 구현하려는 시도입니다.