수개월간의 연구 끝에, DWARF 아키텍처로 제작된 최초의 모델을 사람들이 확인하고 실험해 볼 수 있도록 공개합니다! DWARF는 거의 모든 부분이 희소 어텐션 (sparse attention) 구조인 아키텍처로, 전송을 위한 백본(backbone)으로 9개의 동적 희소 쿼리-게더 (Dynamic Sparse Query-Gather, DSQG) 레이어를 사용하며, 레이어 깊이의 25% 지점에 단일 풀 인과적 어텐션 (full causal attention) 레이어를 배치합니다. 예를 들어, 모델에 32개의 레이어가 있다면 L7 지점에 단 하나의 풀 인과적 어텐션 레이어를 글로벌 믹서 (global mixer)로 사용하여, 학습된 컨텍스트인 2048까지 일관되게 신뢰할 수 있는 검색 (retrieval) 성능을 달성합니다. 초기 결과에 따르면 N=2048로만 학습해도 학습된 N의 3배(이 경우 N=6144)까지 일관되게 신뢰할 수 있는 검색 성능을 보여주지만, 이를 확실히 확인하기 위해 아직 철저한 테스트가 필요한 상태입니다. DSQG는 풀 어텐션 (full attention)을 근거리 및 원거리 토큰 오프셋 (token offsets)의 고정된 인과적 세트로 대체하므로, 각 토큰은 이전의 모든 토큰을 살피는 대신 자신의 과거에 대한 작은 멀티 스케일 샘플 (multi-scale sample)을 참조합니다. 그런 다음 어떤 샘플링된 위치가 중요한지 학습하고 쿼리/키 프로브 (query/key probe) 신호를 사용하여 해당 값을 조절함으로써, 훨씬 낮은 어텐션 비용으로 유용한 콘텐츠 민감형 통신을 보존하는 것을 목표로 합니다. DSQG는 전체 히스토리를 스캔하는 대신 각 새로운 토큰에 대해 고정된 수의 오프셋만을 디코딩하기 때문에, 토큰당 KV-캐시 (KV-cache) 대역폭과 어텐션 작업량은 컨텍스트 길이에 관계없이 거의 완전히 O(1)입니다. 이 모델은 Dolma3 Mix 150B의 10B 토큰으로 학습된 연구 프로토타입을 위한 베이스 모델이며, ChatML이 수정된 OLMo1 Base 토크나이저 (50282 토큰)를 사용합니다. Github에 공개된 코드를 통해 사람들은 L3의 풀 어텐션을 대체하는 HISA 경로를 실험해 볼 수 있으며, 이는 풀 어텐션 하이브리드와 경쟁력 있는 성능을 내면서도 본질적으로는 순수하게 희소 (sparse)한 구조를 가집니다. HISA 경로는 현재 실험적 단계이며 아직 완전히 다듬어지지 않았습니다. Huggingface Github /u/MariusNocturnum 제출 [link] [comments]