Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
개발된 TKintegers K5는 균형 삼진수 가중치 표현을 사용하여 GPU 추론 성능을 혁신적으로 개선했습니다. 이 구현체는 별도의 전용 하드웨어 없이도 표준 FP8 대비 프리필 및 디코드 처리량에서 높은 성능 향상을 입증하며, LLM 최적화의 새로운 가능성을 제시합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Reddit AI Research의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기저는 균형 삼진수 가중치 표현(balanced-ternary weight representation), 변환기, 그리고 GPU 추론 구현체인 TKintegers를 개발했습니다. 가장 눈에 띄는 결과는 다음과 같습니다. NVIDIA L4는 네이티브 FP8 텐서 코어 지원을 하지만, K5 구현은 GPU가 네이티브 K5 명령어를 가지고 있지 않음에도 불구하고 TorchAO FP8 기준선보다 높은 처리량을 달성했습니다.
Qwen2.5-0.5B-Instruct 모델에서 고정된 매칭 워크로드(fixed matched workload)를 사용했을 때의 결과는 다음과 같습니다:
기준선은 이지어(eager) PyTorch에서 실행되는 표준 TorchAO 동적 E4M3 FP8이었습니다. 디코드 측정은 캐리된 KV 캐시를 사용한 고정 토큰 모델 포워드 계산을 기반으로 했습니다.
K5란 무엇인가요? TK는 Ternary Kluster의 약자입니다. K5는 각 가중치 코드를 다섯 개의 균형 삼진수 자릿수로 표현하며, 이는 243가지 가능한 값을 제공합니다. 이 레이아웃에서 각 코드는 1바이트를 차지합니다. 다섯 트릿(trits)이 다섯 비트(binary bits)를 의미하는 것은 아닙니다. 제 커널은 계산을 위해 경계가 지정된 타일(bounded tiles)을 확장하여 사용하며, FP32 누적과 함께 FP16 텐서 코어 연산자를 사용합니다. 일부 텐서는 더 높은 정밀도에 유지됩니다.
저에게 있어 중요한 점은 런타임이 표현 방식만큼 중요하다는 것입니다. K5는 특정 K5 전용 프로세서를 요구하지 않고도 기존 하드웨어에서 이 FP8 기준선보다 우수한 성능을 보일 수 있습니다. 이러한 측정값은 해당 모델, 워크로드 및 구현에 적용되는 것이며, 모든 FP8 런타임 대비 승리를 입증하는 것은 아닙니다. FP16 제어 방식이 둘 다보다 빨랐습니다.
저장소에는 변환기, 네이티브 커널, 벤치마크 스크립트 및 기록된 증거가 포함되어 있습니다: https://github.com/CodeMasterCody3D/tkintegers
커널 설계와 벤치마크 방법론, 특히 독립적인 재현에 대한 기술적 피드백을 환영합니다.
submitted by /u/Code_MasterCody [link] [comments]