LLaMA.cpp의 Qwen MTP 성능 향상, Ollama를 위한 Ring-2.6-1T 공개, AMD GPU 수정 사항

LLaMA.cpp의 Qwen MTP 성능 향상, Ollama를 위한 Ring-2.6-1T 공개, AMD GPU 수정 사항

오늘의 하이라이트
이번 주, LLaMA.cpp는 Multi-Token Prediction (MTP)과 TurboQuant를 통해 Qwen 모델의 상당한 성능 도약을 보여주었습니다. 또한, 새로운 1T-parameter Ring-2.6-1T 모델이 Ollama를 위해 오픈 소스로 공개되었으며, AMD RDNA 4 카드에서 Ollama의 GPU 감지 문제를 해결하기 위한 중요한 가이드가 등장했습니다.

LLaMA.cpp 상의 Qwen을 위한 Multi-Token Prediction (MTP) + TurboQuant (r/LocalLLaMA)
출처: https://reddit.com/r/LocalLLaMA/comments/1tckzy2/multitoken_prediction_mtp_for_qwen_on_llamacpp/

이 개발은 LLaMA.cpp 프레임워크 내에서 Qwen 모델을 위한 Multi-Token Prediction (MTP)을 도입하였으며, 향상된 양자화 (Quantization)를 위해 TurboQuant와 결합되었습니다. MTP는 모델이 여러 토큰을 동시에 예측할 수 있게 하여 추론 (Inference) 속도를 크게 높이는 가속 기술입니다. 구현 결과, 90%의 수락률 (Acceptance rate)과 함께 보고된 40%의 성능 향상을 보여주었으며, 이는 효율적이고 정확한 멀티 토큰 생성을 나타냅니다. 이러한 발전은 MacBook Pro M5 Max 64GB RAM과 같은 소비자용 하드웨어에서 Qwen과 같은 모델을 로컬에서 실행하는 사용자들에게 로컬 추론을 더 빠르고 반응성 있게 만들어줌으로써 특히 유익합니다. 이는 speculative decoding (추측적 디코딩) 및 효율적인 양자화와 같은 고급 기술을 통해 오픈 웨이트 (Open-weight) 모델의 성능을 최적화하여, 강력한 모델을 자체 호스팅 배포에 더 쉽게 접근할 수 있도록 하려는 llama.cpp 커뮤니티의 지속적인 노력을 보여줍니다.

댓글: LLaMA.cpp에 이 MTP가 통합된 것은 Qwen 모델에 있어 게임 체인저이며, 눈에 띄는 속도 향상을 제공합니다. 40%의 성능 이득은 제 M5 Max에서의 로컬 추론에 있어 엄청난 수치입니다.

Ring-2.6-1T 오픈 소스 공개: Ollama를 위한 새로운 1T-Parameter 모델 (r/Ollama)
출처: https://reddit.com/r/ollama/comments/1td2sul/ring261t_open_sourced_today_soooo_looking_forward/

Ring-2.6-1T 모델이 오픈 소스로 공개되었으며, 이는 오픈 웨이트 (Open-weight) 모델 환경에서 중요한 새로운 출시를 기록했습니다.

이 인상적인 추론 (Reasoning) 모델은 1조 개의 방대한 파라미터 (Parameters)를 자랑하지만, 효율적인 실행을 위해 630억 개의 활성 파라미터 (Active parameters)로 작동합니다. 이 모델은 복잡한 실세계 에이전트 워크플로우 (Agent workflows), 특히 코딩 에이전트 (Coding agent) 작업에서 탁월한 성능을 발휘하도록 특별히 설계 및 최적화되었습니다. 커뮤니티는 Ollama에서의 가용성에 대해 강력한 열광을 표하고 있으며, 이는 개발자와 애호가들이 더 쉬운 로컬 배포 및 실험을 할 수 있게 해줄 것입니다. 이 모델의 출시는 강력한 추론 능력과 소비자용 하드웨어에서의 효율적인 성능을 요구하는 셀프 호스팅 (Self-hosted) LLM 애플리케이션을 위한 강력하고 새로운 옵션을 제공하며, 로컬에서 실행되는 에이전트로 가능한 영역의 경계를 넓히고 있습니다.

댓글: 코딩 에이전트에 최적화된 1T 파라미터 모델은 로컬 개발 환경에 있어 엄청난 승리입니다. 이를 Ollama를 통해 실행할 수 있다는 점은 복잡한 에이전트 작업에 믿을 수 없을 정도로 유용할 것입니다.

가이드: Windows에서 AMD RX 9060 XT (RDNA 4)에 Ollama 실행 및 CPU 문제 해결 (r/Ollama)
출처: https://reddit.com/r/ollama/comments/1td5s7t/how_to_run_ollama_on_amd_rx_9060_xt_rdna_4_on/
이 실용적인 가이드는 Windows 운영 체제에서 AMD의 최신 RDNA 4 소비자용 GPU, 특히 RX 9060 XT에서 Ollama를 실행하려는 사용자들이 직면하는 일반적인 문제를 다룹니다. 많은 사용자가 Ollama가 가속을 위해 GPU를 활용하는 대신 기본적으로 CPU 점유율을 100% 사용하는 문제에 직면합니다. 이 튜토리얼은 HIP SDK 설치에 관한 필수 세부 사항과 AMD GPU를 올바르게 감지하고 활용하는 데 필요한 특정 구성을 포함한 단계별 설정 프로세스를 제공합니다. 이는 AMD 하드웨어에서 로컬 추론 (Inference)을 위한 최적의 성능을 달성하는 데 매우 중요하며, 기존에 AMD GPU 인식 문제로 어려움을 겪었던 더 넓은 범위의 사용자들이 셀프 호스팅 LLM 배포를 더 쉽게 접근하고 효율적으로 사용할 수 있게 해줍니다.

댓글: 마침내 Windows에서 Ollama가 AMD RDNA 4 GPU를 제대로 사용하도록 하는 명확한 가이드가 나왔군요. HIP SDK 설정과 GPU 감지 수정은 우리 중 많은 이들이 CPU 병목 현상 (Bottlenecking)을 멈추기 위해 정확히 필요로 했던 것입니다.