많은 사람들이 Mac에서 로컬 거대 모델 (Large Models)을 실행하지만, 칩 성능이 약하지 않음에도 불구하고 실제 경험은 속도와 메모리 문제로 막히는 경우가 많습니다.

Cider는 Apple Silicon을 대상으로 하는 로컬 추론 가속 프레임워크 (Inference Acceleration Framework)로, 칩 내에서 충분히 활용되지 못하고 있는 계산 능력을 끌어올리는 데 중점을 둡니다.

GitHub:
http://
github.com/Mininglamp-AI/
cider
...
이 프로젝트는 W8A8 / W4A8 추론을 주력으로 하며, MLX 생태계 내에서 커스텀 연산자 (Custom Operators)를 제공하여 로컬 모델의 프리필 (prefill) 단계에서 더 빠른 속도와 더 낮은 점유율을 구현합니다.

Qwen, Llama 등 MLX에 연결된 모델들은 모두 이를 사용하여 가속을 시도해 볼 수 있으며, 연결 방식도 비교적 가볍습니다.

평소 Mac에서 로컬 모델을 실행하며 Apple Silicon의 성능을 끝까지 뽑아내고 싶다면, 이 프로젝트를 주목해 보시기 바랍니다.

제가 Quark Cloud Disk를 통해 「AI 전체 공략집 (지속 업데이트 중)」을 공유해 드렸습니다.
https://
pan.quark.cn/s/c7b6691bdf5d

계산 재료 과학이나 분자 시뮬레이션 관련 연구를 할 때 가장 시간이 많이 걸리는 단계는 도구를 찾는 것입니다. 모델, 데이터셋, 포텐셜 함수 (Potential Functions), 시각화 프로젝트 등이 여기저기 흩어져 있기 때문입니다.

Best of Atomistic Machine Learning은 원자 단위 머신러닝 (Atomistic Machine Learning) 프로젝트 엄선 모음으로, 현재 510개 이상의 관련 오픈 소스 프로젝트를 수록하고 있습니다.

GitHub:
http://
github.com/JuDFTteam/best
-of-atomistic-machine-learning
...