LLM 파인튜닝을 위한 스플릿 러닝에 대한 조망: 모델, 시스템 및 프라이버시 최적화

요약

본 논문은 대규모 언어 모델(LLMs)의 높은 비용과 프라이버시 문제를 해결하기 위한 스플릿 러닝(Split Learning) 패러다임을 다룹니다. LLM 파인튜닝에 특화된 최초의 포괄적인 조망을 제시하며, 이 분야의 다양한 연구 동향을 체계적으로 분류하고 비교합니다. 특히 모델 최적화, 시스템 효율성, 프라이버시 보존이라는 세 가지 핵심 차원을 아우르는 통합 학습 파이프라인 구축 방안을 제안하여 안전하고 확장 가능한 협력적 LLM 적응의 기반을 마련하는 것을 목표로 합니다.

핵심 포인트

• LLMs의 높은 계산 비용과 민감 정보 공유에 대한 프라이버시 우려가 주요 문제점이다.
• 스플릿 러닝은 클라이언트와 서버 간 모델 분할 및 중간 데이터 교환을 통해 안전하고 협력적인 LLM 학습을 가능하게 하는 해결책이다.
• 본 논문은 LLM 파인튜닝에 초점을 맞춘 최초의 포괄적 조망(survey)을 제공하여 연구 분야에 명확한 방향성을 제시한다.
• 연구는 모델 수준 최적화, 시스템 수준 효율성, 프라이버시 보존이라는 세 가지 핵심 차원을 통합적으로 다룬다.