ServiceNow-AI/SuperApriel-15B-Instruct

**150 억 파라미터 토크인 미커 서퍼네트 (token-mixer supernet)**로, 32K 시퀀스 길이에서 최대 10.7 배의 디코드 처리량을 제공하는 8 개의 최적화된 배포 프레셋이 단일 체킹포인트에서 가능합니다. Apriel-1.6 에서 유래되었으며, 확률적 디стил레이션 (stochastic distillation) 과 표적화된 감독 미세 조정 (targeted supervised fine-tuning) 을 통해 개발되었습니다.

• 모델 크기: 150 억 파라미터
• 레이어: 각 레이어에 4 가지 미커 변형을 갖춘 48 개의 디코더 레이어
• 컨텍스트 길이: 262,000 개 위치 (런타임 의존)
• 언어: 영어 (최적)

하이라이트

• 단일 체킹포인트에서 유연한 배포: 처리량과 품질을 절충하는 여러 프레셋 제공
• 레이어당 4 가지 미커 유형: 풀 어텐션 (FA), 슬라이딩 윈도우 어텐션 (SWA), 게이트드 델타넷 (GDN), 키미 델타 어텐션 (KDA)
• 지향성 튜닝: 여러 파레토 최적 배치 방식으로 표적화된 감독 미세 조정 (SFT) 적용
• 시뮬레이션 디코딩 지원: 동일한 체킹포인트에서 전체 어텐션을 타겟으로 하고 효율적인 배치를 드래프트로 사용