작은 두뇌, 큰 업적: 소형 언어 모델(Compact Language Models) 탐구

요약

본 연구는 RAG 시스템 내 생성 단계에서 소형 언어 모델(SLM)의 성능과 효용성을 조사합니다. 다양한 데이터셋을 통한 벤치마킹 결과, SLM 기반 RAG 시스템이 GPU 없이 온디바이스 환경에서도 효율적으로 실행될 수 있음을 입증했습니다.

핵심 포인트

• RAG 시스템 내 소형 언어 모델의 성능 분석
• 다양한 주제와 질문 유형을 포함한 벤치마킹 수행
• GPU 없이 온디바이스 환경에서의 실행 가능성 확인
• 실험 코드 및 보충 자료 GitHub 공개