spacy-transformers: spaCy에서 BERT, XLNet, GPT-2 같은 사전 학습된 트랜스포머 모델 사용하기

이 패키지는 spaCy 컴포넌트와 아키텍처를 제공하여 Hugging Face의 transformers를 통해 spaCy에서 트랜스포머 모델을 사용할 수 있게 합니다. 그 결과, BERT, GPT-2, XLNet 등 최첨단(state-of-the-art) 트랜스포머 아키텍처에 편리하게 접근할 수 있습니다.

이 릴리스는 spaCy v3를 필요로 합니다. 이전 버전의 라이브러리를 사용하려면 v0.6.x 브랜치를 참조하십시오.

tests

PyPi

GitHub

Code style: black

기능 (Features)

BERT, RoBERTa, XLNet과 같은 사전 학습된 트랜스포머 모델을 사용하여 spaCy 파이프라인에 기능을 부여할 수 있습니다.
쉬운 다중 작업 학습(multi-task learning): 여러 파이프라인 컴포넌트로부터 하나의 트랜스포머 모델로 역전파(backprop)를 수행합니다.
spaCy v3의 강력하고 확장 가능한 설정 시스템을 사용하여 훈련할 수 있습니다.
트랜스포머 출력을 spaCy의 토큰화에 자동으로 정렬합니다.
Doc 객체에 저장되는 트랜스포머 데이터가 무엇인지 쉽게 사용자 정의할 수 있습니다.
얼마나 긴 문서를 처리할지 쉽게 사용자 정의할 수 있습니다.
즉시 사용 가능한(Out-of-the-box) 직렬화 및 모델 패키징 기능을 제공합니다.

🚀 설치 (Installation)

pip에서 이 패키지를 설치하면 PyTorch와 spaCy를 포함한 모든 종속성이 자동으로 설치됩니다. 모델을 설치하기 전에 반드시 이 패키지를 먼저 설치해야 합니다. 또한, 이 패키지는 Python 3.6+, PyTorch v1.5+, 그리고 **spaCy v3.0+**를 필요로 한다는 점에 유의하십시오.

pip install 'spacy[transformers]'

GPU 설치를 위해서는 nvcc --version을 사용하여 CUDA 버전을 확인하고, 버전(대괄호 안)에 추가해야 합니다. 예를 들어, CUDA9.2의 경우 spacy[transformers,cuda92]를, CUDA10.0의 경우 spacy[transformers,cuda100]을 사용합니다.

PyTorch 설치에 문제가 있다면, 사용하려는 특정 운영 체제 및 요구 사항에 맞춰 공식 웹사이트 지침을 따르세요.

📖 문서 (Documentation)

⚠️ 중요 참고: 이 패키지는 spaCy v3.0의 기능을 최대한 활용하도록 대대적으로 리팩토링되었습니다. spaCy v2.x를 위해 구축된 이전 버전들은 상당히 다르게 작동했습니다. 이전 버전에 대한 문서는 이 README의 이전 태그가 지정된 버전을 참조해 주세요.

📘 임베딩, 트랜스포머 및 전이 학습 (Embeddings, Transformers and Transfer Learning): spaCy에서 트랜스포머 사용 방법
📘 훈련 파이프라인 및 모델 (Training Pipelines and Models): 자체 데이터로 구성 요소를 훈련하고 업데이트하며 사용자 지정 모델을 통합하는 방법
📘 레이어 및 모델 아키텍처 (Layers and Model Architectures): 사용자 지정 신경망으로 spaCy 구성 요소에 힘을 실어주는 방법
📗 Transformer: 파이프라인 구성 요소 API 참조
📗 트랜스포머 아키텍처 (Transformer architectures): 아키텍처 및 등록된 함수

사전 학습된 텍스트 및 토큰 분류 모델 적용하기

spacy-transformers의 transformer 구성 요소는 토큰 또는 텍스트 분류와 같은 작업별 헤드(task-specific heads)를 지원하지 않는다는 점에 유의하십시오. 작업별 트랜스포머 모델은 ner나 textcat과 같은 spaCy 구성 요소를 훈련하는 데 사용할 특징 소스로 사용될 수 있지만, transformer 구성 요소는 훈련이나 추론을 위한 작업별 헤드에 대한 접근을 제공하지 않습니다.

대안으로, 기존 Hugging Face 텍스트 또는 토큰 분류 모델의 **예측(predictions)**만 사용하려는 경우, spacy-huggingface-pipelines에서 제공하는 래퍼(wrappers)를 사용하여 작업별 트랜스포머 모델을 spaCy 파이프라인에 통합할 수 있습니다.

버그 보고 및 기타 이슈

버그를 보고하려면 spaCy의 이슈 추적기를 사용하거나, 다른 모든 문제에 대해서는 토론 게시판에서 새 스레드를 여십시오.

spacy-transformers: spaCy에서 BERT, XLNet, GPT-2 같은 사전 학습된 트랜스포머 모델 사용하기

요약

핵심 포인트

spacy-transformers: spaCy에서 BERT, XLNet, GPT-2 같은 사전 학습된 트랜스포머 모델 사용하기

기능 (Features)

🚀 설치 (Installation)

📖 문서 (Documentation)

사전 학습된 텍스트 및 토큰 분류 모델 적용하기

버그 보고 및 기타 이슈

댓글

spacy-transformers: spaCy에서 BERT, XLNet, GPT-2 같은 사전 학습된 트랜스포머 모델 사용하기

기능 (Features)

🚀 설치 (Installation)

📖 문서 (Documentation)

사전 학습된 텍스트 및 토큰 분류 모델 적용하기

버그 보고 및 기타 이슈