Mac에서 로컬 대규모 모델 실행 시, 기본 활성 상태 보기(Activity Monitor)는 신경망 엔진(Neural Engine)과 메모리

Mac에서 로컬 대규모 모델(Large Models)을 실행할 때, 내장된 활성 상태 보기(Activity Monitor)는 신경망 엔진(Neural Engine)과 메모리 대역폭(Memory Bandwidth)에 대한 데이터를 보여주지 않습니다.

그래서 Apple Silicon 칩을 위해 특별히 설계된 네이티브 시스템 모니터링 도구인 SiliconScope를 찾았습니다.

이 도구는 누락된 핵심 지표를 보완하여, 신경망 엔진(Neural Engine), 미디어 엔진(Media Engine)의 전력 소비 및 메모리 대역폭(Memory Bandwidth)의 실시간 데이터를 직접 시각화합니다.

GitHub:
http://github.com/kennss/SiliconScope

…
이 도구에는 내장된 AI 워크로드 분석 기능이 있어, 현재 로컬 대규모 모델의 병목 현상(Bottleneck)이 어디인지—대역폭 부족인지, 연산 능력(Compute Power) 부족인지, 아니면 스로틀링(Thermal Throttling)인지—를 직접 알려줄 수 있습니다.

또한 CPU, GPU, 온도, 배터리와 같은 개별 지표를 메뉴 막대(Menu Bar)에 고정할 수 있으며, 각 지표는 자체적인 실시간 차트와 드롭다운 상세 정보를 제공하여 iStat Menus 도구의 대체제로 사용할 수 있습니다.

이 도구는 바로 사용할 수 있는 설치 패키지를 제공합니다. 다운로드하여 Applications 폴더로 드래그하기만 하면 즉시 실행할 수 있습니다.