RadLite: CPU 배포용 소형 언어 모델의 다중 작업 LoRA 파인튜닝

대형 언어 모델 (LLMs) 은 방사선학 분야에서 잠재력을 보이지만, 계산 요구 사항으로 인해 자원 제약이 있는 임상 환경에서의 사용이 제한적입니다. 우리는 30 억~40 억 파라미터 규모의 소형 언어 모델 (SLMs) 이 LoRA 파인튜닝을 통해 강력한 다중 작업 방사선학 성능을 달성할 수 있는지, 그리고 이를 소비자급 CPU 에서 배포할 수 있는지 조사합니다.

우리는 12 개의 공개 데이터셋에서 수집된 9 개의 방사선학 과제 (RADS 분류 10 개 시스템, 인상 생성, 시간적 비교, 방사선학 NLI, NER, 이상 징후 감지, N/M 단계화, 방사선학 Q&A) 를 아우르는 162K 샘플에 대해 Qwen2.5-3B-Instruct 과 Qwen3-4B 모델을 훈련시켰습니다. 두 모델은 표준화된 지표를 사용하여 각 과제별로 최대 500 개의 분리된 테스트 샘플로 평가되었습니다.

우리의 주요 발견은 다음과 같습니다:
(1) LoRA 파인튜닝은 제로샷 베이스라인 대비 성능을 크게 향상시킵니다 (RADS 정확도 +53%, NLI +60%, N-단계화 +89%).
(2) 두 모델은 상호 보완적인 강점을 보입니다 - Qwen2.5 는 구조화된 생성 과제를, Qwen3 은 추출적 과제를 지배합니다.
(3) 두 모델을 결합한 과제 기반 오라클 앙상블이 모든 과제에서 가장 좋은 성능을 달성합니다.
(4) 파인튜닝된 모델에 대한 퓨샷 프롬프팅은 성능 저하를 일으키며, LoRA 적응이 컨텍스트 학습보다 전문화된 도메인에 더 효과적임을 증명합니다.
(5) 모델은 GGUF 형식으로 양자화되어 (1.82.4GB) 소비자 하드웨어에서 4~8 토큰/초의 속도로 CPU 배포가 가능합니다.

우리의 작업은 GPU 요구 사항 없이 소비자 하드웨어 전체에서 배포 가능한 실용적인 다중 작업 방사선학 AI 어시스턴트로서 소형, 효율적으로 파인튜닝된 모델 - 우리는 이를 collectively RadLite 라고 부릅니다 - 가 사용 가능함을 보여줍니다.