GitHub - kallewoof/tftf: Transforming Transformers -- 최소한의 오버헤드로 거대 트랜스포머
요약
대규모 트랜스포머 모델을 다룰 때 발생하는 메모리 부족 문제를 해결하기 위한 tftf 프로젝트를 소개합니다. 모든 연산을 텐서 단위로 수행하여 VRAM과 RAM 용량을 초과하는 모델도 효율적으로 처리할 수 있도록 설계되었습니다.
핵심 포인트
- LoRA 병합 및 포맷 변환 시 발생하는 메모리 오버헤드 해결
- 모든 연산을 텐서 단위로 수행하여 메모리 효율성 극대화
- VRAM 및 RAM 용량을 초과하는 거대 모델 처리 가능
VRAM+RAM에 들어가지 않는 대규모 모델을 다루는 것은 LoRA 병합 (LoRA merging)이나 포맷 간 변환 (converting between formats)과 같은 작업을 수행할 때 매우 짜증스러운 일입니다. 그래서 저는 tftf (transforming transformers) 프로젝트를 시작했습니다.
아이디어는 간단합니다: 모든 연산을 텐서 (tensor) 단위로 수행하는 것입니다. (V)RAM에
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0