LLM 파인튜닝을 위한 스플릿 러닝에 대한 조망: 모델, 시스템 및 프라이버시 최적화

파인튜닝은 대규모 언어 모델 (LLMs) 을 특수 응용 분야에 활용 가능하게 하지만, 그 높은 계산 비용으로 인해 자원 제약이 있는 조직에게는 도달하기 어려운 경우가 많습니다. 클라우드 플랫폼이 필요한 자원을 제공할 수는 있지만, 민감한 정보를 제 3 자와 공유하는 데 대한 프라이버시 우려로 인해 위험이 따릅니다. 유망한 해결책은 클라이언트와 서버 간에 모델을 분할하여 중간 데이터를 교환함으로써 협력적이고 안전한 학습을 가능하게 하여, 자원 제약이 있는 참여자들이 LLM 을 안전하게 적응시킬 수 있게 하는 스플릿 러닝 (Split Learning) 입니다. 이에 따라 이 패러다임을 발전시키기 위한 다양한 모델 방법론, 시스템 최적화 및 프라이버시 방어-공격 기법을 소개하는 문헌들이 늘어나고 있습니다. 이 분야에 명확성과 방향성을 부여하기 위해 이러한 다각적인 접근 방식을 분류하고 비교하며 비판적으로 검토할 수 있는 포괄적인 조망 (survey) 이 필요합니다. 본 논문은 LLM 파인튜닝을 위한 스플릿 러닝을 전문으로 하는 최초의 광범위한 조망을 제시함으로써 이 공백을 메웁니다. 우리는 통합된 세분화된 학습 파이프라인을 제안하여 주요 운영 구성 요소를 식별하고, 모델 수준의 최적화 (model-level optimization), 시스템 수준의 효율성 (system-level efficiency), 프라이버시 보존 (privacy preservation)이라는 세 가지 핵심 차원을 아우르는 최첨단 연구에 대한 체계적인 검토를 수행합니다. 이 구조화된 분류 체계를 통해 확장 가능하고 견고하며 안전한 협력적 LLM 적응을 발전시키는 기초를 마련합니다.