디코딩 루프는 256개의 토큰이 생성될 때마다 MLX의 해제된 버퍼 풀을 방출했는데, 이는 KV 캐시가 이전의 더 작은 버퍼를 증가시키고 떨어뜨리는 빈도와 같습니다. 이 확인은 토큰 수가 정확히 256의 배수가 될 때만 작동합니다. 추측 디코딩(Speculative decoding)은 라운드당 여러 개의 토큰을 방출하므로, 대부분의 라운드는 경계를 건너뛰고 풀이 방출되지 않았습니다. 긴 컨텍스트에서의 각 증가는 나중에 할당할 수 없는 몇 GB의 버퍼를 남겨두어, 시스템 메모리가 부족해질 때까지 러너(runner)의 사용량이 계속 상승했습니다.

이제 라운드가 256 토큰의 배수를 넘을 때마다 풀을 방출하도록 변경했으며, 이는 단일 토큰 라운드에서 이미 수행하던 작업입니다. 128 GB 장치에서 qwen3.8:27b-mlx를 사용하여 98k 토큰 컨텍스트로 긴 추측 생성을 할 경우, 이전에는 러너가 90 GB 이상으로 증가하여 커널을 패닉 상태에 빠뜨렸지만, 이제는 30 GB 수준에서 안정적으로 유지됩니다.