RadLite: CPU 배포용 소형 언어 모델의 다중 작업 LoRA 파인튜닝

요약

본 연구는 대규모 언어 모델(LLMs)의 높은 계산 요구 사항 문제를 해결하기 위해, 30억~40억 파라미터 규모의 소형 언어 모델(SLMs)을 활용하여 방사선학 분야의 다중 작업 성능을 개선하는 방법을 제시합니다. LoRA 파인튜닝 기법을 통해 다양한 임상 과제에 걸쳐 SLM들을 성공적으로 훈련시켰으며, 이를 GGUF 형식으로 양자화하여 소비자급 CPU 환경에서도 효율적으로 배포할 수 있음을 입증했습니다.

핵심 포인트

• LoRA 파인튜닝은 방사선학 분야의 다양한 임상 과제(RADS 분류, NLI 등)에서 제로샷 대비 성능을 크게 향상시키는 효과적인 방법입니다.
• 두 가지 SLM (Qwen2.5 및 Qwen3)은 각각 구조화된 생성 과제와 추출적 과제에서 상호 보완적인 강점을 보여주었으며, 이를 결합한 앙상블이 최적의 성능을 달성합니다.
• 파인튜닝된 모델들은 GGUF 형식으로 양자화되어 약 2GB 크기로 소비자급 CPU 환경에서도 실용적으로 배포 및 구동이 가능합니다.
• 본 연구에서 제안하는 'RadLite'는 GPU 없이도 작동 가능한, 효율적이고 다재다능한 임상 AI 어시스턴트의 새로운 패러다임을 제시합니다.