Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Muse Spark Open 모델이 텍스트, 비전, 오디오 기능을 통합한 잠재 공간 MoE(Mixture of Experts) 아키텍처를 소개합니다. 이 모델은 Top-8 sigmoid 라우팅과 보정 바이어스 등을 활용하며, Vision에는 Muse Glimmer tower를 재사용하고 Audio는 인과적 컨볼루션 피라미드 구조를 채택했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 llama.cpp Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기Muse Spark Open은 잠재 공간 MoE(Mixture of Experts)입니다. 잔여 스트림은 8192에 유지되며, 256개의 전문가(experts)는 4096에서 작동하고, 주변에는 투영 다운 및 업이 있습니다. top-8 sigmoid 라우팅과 보정 바이어스(correction bias)를 사용합니다. 어텐션(Attention)은 rope가 적용된 2048 윈도우의 세 개의 슬라이딩 레이어를 교차하며, rope가 없는 하나의 전역 레이어는 sigmoid 출력 게이트와 가중치 없는 QK-norm을 갖습니다. 잔여물(Residuals)은 norm preserving이며, 그 게이트는 변환 시점에 접힙니다.
비전(Vision)은 Muse Glimmer tower를 재사용합니다. 오디오(Audio)는 어텐션과 스펙트로그램이 없는 인과적 컨볼루션 피라미드(causal convolutional pyramid)이며, 네 개의 단계가 16, 6, 5, 그리고 4 샘플을 채널 차원으로 접어내고, 24 kHz의 80 ms당 하나의 임베딩을 생성합니다.
양자화기(quantizer)는 잠재 투영과 어텐션 게이트를 Q8_0으로 유지하는데, 이는 가중치의 1%가 조금 넘는 부분입니다. 전체 잔여 스트림이 이 부분을 통과하고 저비트 타입이 출력을 반복 루프로 만들었기 때문입니다. 모델 세이버(model saver)는 post norm epsilon을 작성하며, 아키텍처(arch)는 test-llama-archs에 등록됩니다.
Co-authored-by: Xuan Son Nguyen [email protected]
Co-authored-by: Pedro Cuenca [email protected]
Muse Spark: 중복되는 forward expand 제거
Muse Spark: 중복되는 forward expand를 제거하고 주석을 간결하게 수정
src/llama-quant.cpp 업데이트
Co-authored-by: Sigbjørn Skjæret [email protected]
Co-authored-by: Sigbjørn Skjæret [email protected]
Co-authored-by: Sigbjørn Skjæret [email protected]
Co-authored-by: Sigbjørn Skjæret [email protected]
공동 작성자:
Sigbjørn Skjæret [email protected]
공동 작성자:
Sigbjørn Skjæret [email protected]
공동 작성자:
Xuan Son Nguyen [email protected]
공동 작성자:
Pedro Cuenca [email protected]
공동 작성자:
Sigbjørn Skjæret [email protected]