현재 이 서브레딧(sub)에서 떠돌고 있는 streamed experts 기법과 제가 직접 고안한 몇 가지 트릭을 사용하여 prefill 속도를 조금 더 높이기 위한 실험을 진행하고 있습니다. 지금까지 꽤 즐거운 경험이었습니다. 300b 모델을 Air에서 구동하는 것 자체가 우스꽝스러우면서도 만족스러운 일이니까요. 저장소(Repo)가 공유할 수 있을 만큼 깔끔한 상태는 아닙니다. 아직 원클릭 서비스(one-click serve)가 가능한 수준은 전혀 아닙니다. 특히 제가 구현한 초보적인 수준의 streamed experts 방식이 실제 KV cache 생성이 시작되기 전, 턴 사이에 약 30초 정도의 지연(tax)을 발생시켰기 때문에 공유하기가 망설여졌습니다. 지금은 개선되어 마지막 벤치마크에서는 약 3초 정도로 줄었습니다. 또한 그 사이에 발견한 재미있는 사실이 하나 있는데, prefill 시점에 기본값보다 적은 수의 experts를 실행하더라도 KV cache가 여전히 완벽하게 사용 가능하다는 점입니다. 보수적으로 실행하면 각 위치에서 95% 이상의 동일한 top logits를 얻을 수 있습니다. 더 공격적으로 실행하면 그 성능을 잃게 되지만, 항상 치명적인 것은 아닌 것 같습니다. 예를 들어, needle in haystack 성능은 여전히 유지될 수 있습니다.