Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
PPL-Factory는 태스크 인지 퍼플렉시티와 데이터 예산 인지 기준을 결합한 새로운 데이터 선택 프레임워크입니다. 기존의 간접적인 휴리스틱 방식과 달리 언어 모델링과 추론 태스크의 차이를 고려하여 효율적인 미세 조정을 지원합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기모든 학습 샘플이 대규모 언어 모델 (LLM) 미세 조정 (Fine-tuning)에 동일하게 기여하는 것은 아닙니다. 정보가 풍부한 학습 샘플을 선택하면 다운스트림 성능을 유지하면서 계산 비용을 줄일 수 있습니다. 기존의 많은 데이터 선택 방법들은 데이터 품질, 다양성 또는 추론 흔적 (Reasoning trace) 길이와 같은 간접적인 휴리스틱 (Heuristics)에 의존합니다. 그러나 이러한 고정된 기준의 효과는 태스크 (Task)에 따라 달라지며, 다양한 다운스트림 태스크 전반에 걸쳐 일반화하기 어렵습니다. 퍼플렉시티 (Perplexity) 기반 데이터 선택은 샘플 난이도를 추정하기 위한 간단하고 모델 인지적인 (Model-aware) 솔루션을 제공하지만, 기존 방식들은 일반적으로 전체 학습 시퀀스에 점수를 매기며 언어 모델링 (Language modeling)과 추론 (Reasoning) 태스크의 학습 목표 차이를 무시합니다. 본 논문에서는 태스크 인지 퍼플렉시티 기반 점수와 데이터 예산 인지 선택 기준을 결합한 단순하고 해석 가능한 데이터 선택 프레임워크인 PPL-Factory를 제안합니다. GSM8K에 대한 실험 결과, PPL-Factory는 학습 세트의 단 1%만을 사용하여 다른 최첨단 (State-of-the-art) 데이터 선택 방법들을 능가함을 입증했습니다. 데이터의 10%를 사용할 경우, PPL-Factory는 GSM8K에서 0.9, MATH에서 4.8만큼 전체 데이터 미세 조정 정확도를 상회합니다. 전반적으로, 우리의 결과는 태스크 인지 및 예산 인지 퍼플렉시티 기반 선택이 효율적인 미세 조정을 위한 효과적이고 적용 가능한 접근 방식임을 보여줍니다.