RTX 3090, 추론 최적화로 27B LLM 토큰 생성 속도 최대 4.6배 개선

이 방법은 구형 그래픽 칩을 더 유용하게 만들 가능성이 있습니다.

936.2GB/s의 메모리 대역폭을 갖춘 NVIDIA GeForce RTX 3090은 프롬프트 처리와 토큰 생성 작업에서도 충분한 성능을 발휘할 수 있다. 다만 24GB VRAM 용량이 제약으로 작용한다. 한 개발자는 RTX 3090에서 Qwen3.8-27B 모델을 실행해 초당 82토큰(tok/s)의 생성 속도를 기록했지만, 직접 개발한 추론 엔진을 적용하자 초당 382토큰으로 속도가 약 4.7배 향상됐다. 다양한 최적화 기법을 적용한 결과다. 다만 최적화 과정에서 일부 문제가 발생하기도 했으며, 자세한 내용은 아래에서 소개한다.

Qwen3.8-27B가 이미 생성한 텍스트를 반복할 때 토큰 생성 속도가 크게 향상

AI의 텍스트 생성 속도가 느린 이유를 이해하려면 먼저 대규모 언어 모델(LLM)의 작동 방식을 알아야 한다. 모델은 한 번에 하나의 토큰을 생성하며, 각 토큰은 앞서 생성된 토큰에 영향을 받는다.

RTX 3090은 토큰을 하나 생성할 때마다 모델이 학습 과정에서 확보한 방대한 정보를 담고 있는 **가중치(weights)**를 메모리에서 불러와야 한다. 실제 연산보다 이 데이터를 읽어오는 과정이 병목으로 작용하기 때문에, 그래픽카드의 연산 성능을 충분히 활용하지 못하고 대기하는 시간이 발생한다.

이러한 병목 현상에 주목한 Reddit 사용자 u/iamMess는 이를 해결하기 위해 추측 디코딩(speculative decoding) 기법을 적용했다. 이 방식은 빠르게 동작하는 보조 모델인 '드래프터(drafter)'가 앞으로 생성될 여러 토큰을 미리 예측하고, 메인 모델이 이를 한 번의 연산으로 검증하는 방식이다. 메인 모델은 예측이 맞는 토큰은 유지하고 틀린 토큰은 버린다. 즉, 단어 하나씩 확인하는 대신 문장 전체를 한 번에 검증하는 셈이다.

최종 출력은 메인 모델이 결정하므로, 결과물은 메인 모델이 처음부터 직접 생성했을 때와 동일하게 유지된다. 개발자는 수학 벤치마크에서도 정확도가 96.5%로 유지됐다고 밝혔다.

토큰 생성 속도는 여러 단계의 최적화를 거치며 점차 향상됐다. 먼저 Qwen3.8-27B에 내장된 다중 토큰 예측(MTP, Multi-Token Prediction) 기능을 조정해 단일 사용자 기준 생성 속도를 약 114tok/s까지 끌어올렸다. MTP는 모델이 다음에 생성할 여러 토큰을 자체적으로 예측하는 기능이다.

이후 개발자는 한 번에 7개 토큰을 제안하는 DFlash2라는 두 번째 예측 방식을 추가했다. 여기에 대화에서 이미 생성된 텍스트를 검색해 방금 출력한 내용과 일치하는 부분을 찾고, 같은 단어가 이어질 것으로 예측하는 룩업(lookup) 드래프터도 적용했다.

Qwen3.8-27B reportedly went from 82 to 381 tokens/sec on a single RTX 3090 with 24GB VRAM.

That’s a 4.6× increase without upgrading the GPU or changing the model.

The improvement came from optimizing the inference stack.

Here’s how the reported speeds progressed:

Baseline: 82…

— FHILY👑 (@Oluwaphilemon1) October 18, 2026

룩업 드래프터를 추가한 뒤 토큰 생성 속도는 138tok/s까지 향상됐다. 개발자는 처음에는 검증 단계에서 DFlash2가 예측하는 7개 토큰만큼만 확인할 수 있다고 생각했지만, 실제로는 그렇지 않았다. 룩업 드래프터가 추가 슬롯을 별도 비용 없이 채울 수 있었기 때문이다. 그 결과 추론 엔진은 한 단계에서 16개 토큰을 검증하도록 개선됐다.

이제 Qwen3.8-27B가 문서를 인용할 때는 예측한 16개 토큰 중 약 15개가 승인된다. 이에 따라 2만 5,000토큰 분량의 문서를 처리하는 작업에서 생성 속도가 초당 260토큰에서 382토큰으로 증가했다. 일반적인 채팅에서는 같은 변경 사항을 적용했을 때 약 133tok/s를 기록했다.

개발자는 모델의 작업 메모리를 더 압축된 형식으로 저장하는 방식도 적용해 컨텍스트 윈도(Context Window)를 138,696토큰까지 확장했다.

물론 이 방식에 단점이 없는 것은 아니다. 검증 단계를 길게 설정하면 요청 슬롯의 절반과 컨텍스트 8,000토큰을 사용하기 때문에 해당 기능은 선택 사항으로 제공된다. 압축 메모리 형식은 문서를 처음 불러오는 데 걸리는 시간을 두 배로 늘린다. 따라서 문서를 한 번 불러온 뒤 여러 질문을 반복해서 처리하는 작업에 적합하다.

문서 인용처럼 기존 텍스트를 반복하는 작업이 아니라면 이 모드의 속도는 일반 MTP 방식의 약 절반 수준이다. 일상적인 채팅에서는 약 133tok/s를 기대할 수 있으며, 이는 기존에 기록한 82tok/s보다 여전히 크게 향상된 수치다.

다만 해당 정보는 독립적으로 검증되지 않았으므로, 현재로서는 참고 자료로 받아들이고 실제 성능은 신중하게 판단할 필요가 있다.

출처: WCCFTech

※ 해당 기사는 퀘이사존 공식 기사가 아닌 해외 뉴스/기사를 번역한 기사입니다.
퀘이사존 견해와 주관은 포함되어 있지 않습니다.