QLLM 출시: Transformer와 Mamba를 사용하지 않는 O(1) 추론의 새로운 혁신적 아키텍처

요약

Transformer와 Mamba를 사용하지 않고 O(1) 추론을 구현한 새로운 아키텍처 QLLM을 소개합니다. 위상 연관성(phase associativeness)을 기반으로 설계되어 KV 캐시 없이도 긴 문맥 처리가 가능하며, 현재 100M 규모의 POC 모델로 공개되었습니다.

핵심 포인트

• Transformer/Mamba를 배제한 혁신적인 O(1) 추론 아키텍처
• KV 캐시가 필요 없어 입력 길이에 관계없이 일정한 추론 성능 유지
• 위상 연관성 기반 설계로 향후 음성 모델 적용 가능성 제시
• 4B 데이터셋 기반 학습 및 오픈 소스 코드/모델 공개