Apple 온디바이스 3B 모델 LoRA 학습: Colab T4 및 Mac 환경 가이드

요약

본 글은 Apple의 온디바이스(on-device) 3B 모델에 LoRA 어댑터를 학습시키는 과정을 공유합니다. 원래는 정확도 개선과 접근성 확인이 목적이었으며, 메모리 제약 극복을 위해 커스텀 QLoRA 파이프라인을 구축했습니다. 이 방법은 memory-mapped loading과 4-bit 양자화(quantization)를 결합하여 요구 사양을 약 6GB RAM/5GB GPU로 낮췄습니다. 학습 결과, 어댑터는 기본 모델의 성능을 40%에서 75% 이상으로 향상시켰으며, 검색 증강 생성(Retrieval)과 결합 시에는 최대 8

핵심 포인트

• 커스텀 QLoRA 파이프라인을 통해 Apple 온디바이스 3B 모델 학습 요구 사양을 24GB Mac에서 6GB RAM/5GB GPU로 낮추는 방법을 제시했습니다.
• Mac 환경에서는 bitsandbytes가 네이티브 Metal 커널을 통합하여 로컬 학습 속도를 CPU 대비 약 2배 향상시켰습니다.
• LoRA 어댑터 학습은 기본 모델의 성능을 최소 40%에서 최대 75%까지 개선하며, 검색 증강 생성(Retrieval)과 결합 시에는 86%에 도달했습니다.
• 주의할 점으로, CLI 도구 사용 시 어댑터 프레임워크가 SIP 보호 캐시에 약 160MB의 복사본을 저장하는 버그가 발견되었으며, 이는 디스크 공간 누적 문제를 일으킵니다.