Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Moonshot의 K3 모델이 공개 이틀 만에 UnslothAI를 통해 Mac Studio에서 실행 가능한 수준으로 최적화되었습니다. 동적 1-bit 양자화 기술을 통해 모델 크기를 62% 압축하여 소비자용 하드웨어에서도 구동이 가능해졌습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 X @ayi_ainotes (자동 발견)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기현재 오픈소스 (Open Source)의 발전 속도는 정말 미쳤습니다...
@Kimi_Moonshot의 K3가 오픈소스 된 지 단 이틀 만에, @UnslothAI에 의해 Mac Studio에서 실행 가능한 수준까지 도달했습니다🤯!!!
2.8조 (2.8 Trillion) 파라미터 모델로, 원래 크기는 1.56T였으나,
그들은 동적 1-bit 양자화 (Dynamic 1-bit Quantization)를 사용하여 크기를 594G로 직접 압축했으며, 이는 62%를 줄인 수치입니다.
그러면서도 78.9%의 정밀도 (Precision)를 유지했습니다.
128G 메모리를 가진 Mac Studio에서도 실행할 수 있습니다.
속도가 빠르지는 않지만, 정말로 실행이 가능하다는 점이 중요합니다.
불과 보름 전만 해도 이 정도 규모의 모델은 대형 기업들만이 컴퓨팅 자원 (Computing Power)을 통해 다룰 수 있다고 생각했는데,
이제 우리는 집에서, 자신의 소비자용 컴퓨터 (Consumer-grade PC)로 전 세계 최정상급 오픈소스 거대언어모델 (Open Source LLM)을 실행할 수 있게 되었습니다, damn!
가중치 (Weights)가 공개된 지 48시간 만에 양자화 (Quantization), 최적화 (Adaptation), 튜토리얼까지 모두 준비되었습니다.
Unsloth의 이 속도는 정말 말도 안 됩니다.
오픈소스의 가장 무서운 점이 바로 이것이라는 말을 하지 않을 수 없습니다.
모델이 공개된 첫날부터,
전 세계에서 가장 똑똑한 엔지니어들이 모델의 크기를 줄이고, 속도를 높이며, 최적화를 돕기 위해 움직입니다.
폐쇄형 모델 (Closed Source Model)은 결코 이런 대우를 누릴 수 없습니다.