작은 두뇌, 큰 업적: 소형 언어 모델(Compact Language Models) 탐구
요약
본 연구는 RAG 시스템 내 생성 단계에서 소형 언어 모델(SLM)의 성능과 효용성을 조사합니다. 다양한 데이터셋을 통한 벤치마킹 결과, SLM 기반 RAG 시스템이 GPU 없이 온디바이스 환경에서도 효율적으로 실행될 수 있음을 입증했습니다.
핵심 포인트
- RAG 시스템 내 소형 언어 모델의 성능 분석
- 다양한 주제와 질문 유형을 포함한 벤치마킹 수행
- GPU 없이 온디바이스 환경에서의 실행 가능성 확인
- 실험 코드 및 보충 자료 GitHub 공개
최근 거대 언어 모델(Large Language Models)이 연구 분야를 지배하고 있지만, 소형 언어 모델(Small Language Models) 또한 다양한 영역에서 여전히 높은 관련성을 유지하고 있음에도 불구하고 훨씬 적은 관심을 받고 있습니다. 본 연구에서는 검색 증강 생성 (Retrieval-Augmented Generation, RAG) 시스템 내의 생성 단계에서 더 작은 언어 모델들이 어떻게 성능을 발휘하는지 조사합니다. 이러한 모델들을 효과적으로 벤치마킹하기 위해, 우리는 다양한 주제 영역과 질문 유형을 아우르는 오픈 소스 및 독점 데이터셋을 모두 활용하였습니다. 우리의 연구 결과는 소형 언어 모델을 사용하는 RAG 시스템이 GPU 하드웨어 없이도 온디바이스 (on-device)에서 합리적인 시간 내에 직접 실행될 수 있음을 보여줍니다. 실험 코드와 보충 자료 링크는 GitHub 저장소를 통해 확인할 수 있습니다: https://github.com/SibNN/SLM-RAG-EVAL.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기