토큰화부터 RLHF까지: 현대 NLP 파이프라인을 위한 포괄적인 실습 가이드

이 프리프린트는 토큰화 (tokenisation) 와 벡터화 (vectorisation) 에서 대규모 언어 모델의 미세 조정 (fine-tuning), 검색 증강 생성 (retrieval-augmented generation), 인간 피드백 기반 강화 학습 (RLHF) 에 이르는 현대 NLP 파이프라인 전체를 안내하는 체계적이고 연구 지향적인 실습을 제시합니다. 12 개의 손으로 하는 세션 (hands-on sessions) 은 간결한 이론과 상세한 구현 계획, 공식화된 평가 지표, 투명한 평가 기준을 결합합니다. 이 작업은 일반적인 교본이 아닙니다: 모든 세션에서 코드를 공개 저장소에 게시하고 모델을 보고서를 작성하는 것이 요구되는 재현 가능한 연구 Artefact(작품물) 로 설계되었습니다. 모든 실험은 단일 진화하는 corpus(문서집합) 에서 수행되며, Hugging Face 생태계 (Hugging Face ecosystem) 에 특별한 주의를 기울이며 상업적 API 보다 오픈 웨이트 모델 (open-weight models) 을 지지합니다. 저자 자료는 타지크어와 татар어 (Tajik and Tatar) 의 언어 자원을 포함하여 현대 NLP 가 데이터 부족 환경에 어떻게 적응할 수 있는지 보여주는 원 연구 (original research) 로 풍부해집니다 (서브워드 토크나이저, 임베딩, 어휘 데이터베이스, 전사 기준). 이 자료는 고등학생, 대학원생 및 고전 ML 에서 최신 LLM 기반 시스템까지의 방법을 구현하고 비교하여 배포할 수 있는 실습 개발자를 위한 것입니다.