LLM 학습에서의 데이터, 메모리 및 연산 효율성 통합: 서베이

자원 제약은 대규모 언어 모델 (LLMs)에서 무엇을 학습시키고, 미세 조정 (fine-tuning)하며, 배포할 수 있는지를 점점 더 결정짓고 있지만, 효율성은 종종 상호작용하는 제약 시스템으로서가 아니라 고립된 기술들을 통해 연구되곤 합니다. 본 서베이 (survey)는 제약 중심의 관점을 채택하여, 최근의 진전 사항을 세 가지 결합된 병목 현상인 데이터 효율성 (data efficiency, 무엇을 학습할 것인가), 메모리 효율성 (memory efficiency, 어떻게 학습을 수용할 것인가), 그리고 연산 예산 인식 (compute budget awareness, 언제 어디에서 FLOPs를 사용할 것인가)을 중심으로 정리합니다. 데이터 축에서는 학습 역학 (learning dynamics)에 기반한 확장 가능한 프록시 신호 (proxy signals)부터 그래디언트 (gradient) 및 영향력 (influence) 기반 점수 산정, 그리고 난이도 인식 (difficulty-aware) 및 커리큘럼 스타일 (curriculum-style) 전략에 이르기까지, 토큰당 학습을 극대화하는 선택 및 가지치기 (pruning) 방법을 검토합니다. 우리는 서로 다른 '좋은 데이터'의 개념이 서로 다른 영역에서 지배적이라는 최신 증거를 강조하며, 이는 최적의 서브셋 (subset)이 보편적인 것이 아니라 작업 목표와 자원 예산에 따라 달라짐을 시사합니다. 시스템 측면에서는 미세 조정 (fine-tuning) 시 순수 연산량이 아닌 GPU 메모리가 종종 지배적인 병목 현상이 된다는 점을 보여주며, 효과적인 스케일링 (scaling)을 위해서는 단일 구성 요소를 고립시켜 최적화하기보다 가중치 저장 (weight storage), 옵티마이저 상태 (optimizer states), 그리고 활성화 메모리 (activation memory)를 공동으로 줄여야 함을 보여줍니다. 메모리를 넘어, 우리는 학습과 추론을 최적화, 데이터 선택, 디코딩 (decoding)이 유한한 FLOP 예산을 명시적으로 고려해야 하는 연산 제어 프로세스로 정의합니다. 우리는 한계 성능 이득이 예산 의존적 임계값 아래로 떨어지면 연산을 중단하거나 재할당해야 하는 연산 최적 할당 (compute-optimal allocation) 및 중단 규칙 (stopping rules)에 대한 증거를 검토합니다. 종합적으로, 이러한 결과들은 연산 인식 데이터 선택 (compute-aware data selection), 스케일링 법칙 (scaling laws), 그리고 적응형 추론 (adaptive inference)을 자원 조건부 의사결정 (resource-conditioned decision-making)이라는 공통 원칙 아래 통합합니다.