현재 오픈소스 (Open Source)의 발전 속도는 정말 미쳤습니다...
@Kimi_Moonshot의 K3가 오픈소스 된 지 단 이틀 만에, @UnslothAI에 의해 Mac Studio에서 실행 가능한 수준까지 도달했습니다🤯!!!

2.8조 (2.8 Trillion) 파라미터 모델로, 원래 크기는 1.56T였으나,
그들은 동적 1-bit 양자화 (Dynamic 1-bit Quantization)를 사용하여 크기를 594G로 직접 압축했으며, 이는 62%를 줄인 수치입니다.

그러면서도 78.9%의 정밀도 (Precision)를 유지했습니다.
128G 메모리를 가진 Mac Studio에서도 실행할 수 있습니다.
속도가 빠르지는 않지만, 정말로 실행이 가능하다는 점이 중요합니다.

불과 보름 전만 해도 이 정도 규모의 모델은 대형 기업들만이 컴퓨팅 자원 (Computing Power)을 통해 다룰 수 있다고 생각했는데,
이제 우리는 집에서, 자신의 소비자용 컴퓨터 (Consumer-grade PC)로 전 세계 최정상급 오픈소스 거대언어모델 (Open Source LLM)을 실행할 수 있게 되었습니다, damn!

가중치 (Weights)가 공개된 지 48시간 만에 양자화 (Quantization), 최적화 (Adaptation), 튜토리얼까지 모두 준비되었습니다.
Unsloth의 이 속도는 정말 말도 안 됩니다.

오픈소스의 가장 무서운 점이 바로 이것이라는 말을 하지 않을 수 없습니다.
모델이 공개된 첫날부터,
전 세계에서 가장 똑똑한 엔지니어들이 모델의 크기를 줄이고, 속도를 높이며, 최적화를 돕기 위해 움직입니다.
폐쇄형 모델 (Closed Source Model)은 결코 이런 대우를 누릴 수 없습니다.