Stanford University의 'Speech and Language Processing' 교재 소개

'Speech and Language Processing'은 Stanford University에서 제공하는 무료 교과서로, 자연어 처리(NLP)와 그 근간이 되는 수학적 기초를 아우르는 광범위한 주제들을 세 권의 볼륨으로 구성하고 있습니다.

첫 번째 볼륨에서는 토큰화(tokenization), N-gram 모델, 로지스틱 회귀(logistic regression), 임베딩(embeddings), 신경망(neural networks), 트랜스포머(Transformers), 사전 학습(pretraining) 및 사후 학습(post-training)을 포함하여 현대 언어 모델의 기초를 다룹니다.

두 번째 볼륨은 마스크드 언어 모델(masked language models), 해석 가능성(interpretability), 정보 검색 및 RAG, AI 에이전트(AI agents), 기계 번역(machine translation), RNNs와 LSTMs, 음성 인식(speech recognition), 그리고 텍스트-음성 변환(text-to-speech)과 같은 더욱 심화된 주제들로 넘어갑니다.

마지막으로 세 번째 볼륨은 시퀀스 레이블링(sequence labeling), 구문 분석(syntactic parsing), 정보 추출(information extraction), 의미 역할(semantic roles), 감성 분석(sentiment analysis), 핵심어지 해결(coreference resolution), 그리고 담화 구조(discourse structure)에 대한 장들을 통해 NLP의 언어학적 기초에 초점을 맞춥니다.

저는 이것이 현대 언어 모델의 수학적, 언어학적 기초를 이해하는 데 관심 있는 모든 사람에게 훌륭한 자료라고 생각합니다. 각 장은 무료 PDF로 이용 가능하며, 여러 주제에 대한 강의 슬라이드도 제공됩니다.