저는 여기서 커널(kernel) 작업에 대해 조금 언급한 적이 있으며, 아마 대부분의 사람들은 제가 여기서 공유했던 채팅 템플릿(chat template) 수정 사항을 통해 저를 알고 계실 것입니다. Hyperion(원래 이름이죠, 정말 그렇지 않나요?)은 Gemma 모델 제품군을 기반으로 하는 MLX M5+ 중심의 커널입니다. 현재 개발 작업의 주요 동력은 12B 모델에 집중되어 있으며, 이후 나머지 모델 제품군으로 확장할 예정입니다. 왜 또 다른 MLX 엔진인가요? 이 기기에는 16GB의 통합 메모리(unified memory)가 있기 때문입니다! 통합(integration) 관점에서 단일 모델 제품군을 어디까지 밀어붙일 수 있는지 보고 싶었습니다. 이것은 오픈 소스이며, 이 작업이 안정적인 궤도에 오르면 대부분의 작업을 CUDA 기반 커널로 채택할 계획을 가지고 있습니다. 스택은 Rust로 구축되었으며, Metal 인터페이스를 위한 C 측 FFI(Foreign Function Interface) 인터페이스를 포함합니다. 조만간 Tauri로 감싸진 간단한 GUI와 함께 패키징될 예정입니다. 호기심이 생기는 분들과 함께 작업하게 되어 기쁘며, 이는 로컬 모델의 한계를 밀어붙이는 것에 대한 호기심을 자극하기 위한 것이었습니다! Hyperion을 확인해 보시고, 피드백을 주시거나, 쓰레기라고 말하며 왜 고쳐야 하는지 알려주세요!