구형 GPU에서 충돌 없이 실제로 실행되는 LLM 학습 프레임워크를 구축했습니다 [P]

요약

구형 GPU(T4, V100 등)에서도 충돌 없이 실행 가능한 LLM 학습 프레임워크인 Picotron을 소개합니다. FlashAttention-2 등 하드웨어 특화 의존성을 제거하여 범용성을 높였으며, PyTorch SDPA를 통해 다양한 GPU 환경을 지원합니다.

핵심 포인트

• 구형 GPU에서도 작동하는 클린룸 재작성 프레임워크
• FlashAttention-2 등 무거운 의존성 제거로 호환성 확보
• GQA, MLA, QK-Norm 등 최신 모델 아키텍처 지원
• PyTorch SDPA 폴백을 통한 유연한 연산 지원