Hugging Face Transformers를 사용하여 텍스트 요약기 구축하기

tags: python, ai, nlp, tutorial

tags: python, ai, nlp, tutorial

몇 분 만에 Hugging Face Transformers로 텍스트 요약기 구축하기

점심 식사 전, 팀을 위해 5,000단어 분량의 연구 논문을 200단어의 요약 보고서로 압축해야 하는 상황을 상상해 보세요. 한 시간 동안 읽고, 하이라이트하고, 다시 쓰는 데 시간을 보낼 수도 있지만, 사전 학습된 (pre-trained) AI 모델이 1초도 안 되어 힘든 작업을 대신하게 할 수도 있습니다. 이것이 바로 텍스트 요약 (text summarization)의 힘이며, Hugging Face Transformers를 사용하면 NLP 전문가가 아니더라도 요약기를 구축할 수 있습니다.

요약 (Summarization)은 모델이 방대한 양의 텍스트를 가져와 핵심 의미를 유지하면서 더 짧고 일관된 버전으로 압축하는 자연어 처리 (NLP) 작업입니다 [4]. 처음부터 커스텀 모델을 구축하는 것은 복잡한 훈련 루프 (training loops)와 하이퍼파라미터 튜닝 (hyperparameter tuning)을 수반하지만, Hugging Face는 지름길을 제공합니다: 바로 pipeline API입니다. 이 도구를 사용하면 단 몇 줄의 코드만으로 최첨단 (state-of-the-art) 요약기를 초기화할 수 있어, 오늘 바로 기능을 출시하고자 하는 개발자들에게 완벽한 시작점이 됩니다 [2][9].

지금 바로 작동하는 텍스트 요약기를 구축하는 방법을 알아보겠습니다.

환경 설정하기

코드를 작성하기 전에 적절한 도구가 설치되어 있어야 합니다. 핵심 라이브러리는 모델과 파이프라인 (pipelines)을 제공하는 transformers이며, 모델을 로컬에서 실행하는 데 필요한 torch (PyTorch)가 필요합니다 [2].

로컬 스크립트나 터미널에서 작업 중이라면 다음 명령어를 실행하세요:

pip install transformers torch

Google Colab 또는 유사한 노트북 환경을 사용 중이라면 명령어 앞에 !를 붙이세요:

!pip install transformers

설치가 완료되면 필요한 클래스들을 임포트(import)할 수 있습니다. 이 작업에서 가장 중요한 임포트는 transformers 라이브러리의 pipeline 함수입니다 [2][9]. 이 함수는 토큰화 (tokenization), 모델 로딩 (model loading), 그리고 출력 디코딩 (output decoding)을 자동으로 처리하는 고수준 인터페이스 (high-level interface) 역할을 하여, 반복적인 상용구 코드 (boilerplate code)를 작성하는 수고를 덜어줍니다 [6].

적절한 모델 선택하기

Hugging Face는 수천 개의 사전 학습된 (pre-trained) 모델을 호스팅하고 있지만, 모든 모델이 요약 (summarization) 작업에 최적화되어 있는 것은 아닙니다. 요약의 품질은 여러분이 선택하는 모델에 크게 좌우됩니다.

견고하고 범용적인 요약기를 원한다면, facebook/bart-large-cnn 모델이 초보자들에게 표준 (gold standard)으로 널리 인정받고 있습니다 [4]. Facebook AI에서 개발한 BART (Bidirectional and Auto-Regressive Transformers)는 뉴스 기사와 그에 대응하는 요약문으로 구성된 CNN/DailyMail 데이터셋을 통해 특별히 학습되었습니다. 이러한 학습 덕분에 BART는 사실 관계의 정확성을 유지하면서 뉴스 스타일의 텍스트를 응축하는 데 매우 뛰어난 성능을 보입니다 [4].

다른 주목할 만한 모델들은 다음과 같습니다:

• google/pegasus-cnn_dailymail: Pegasus는 요약을 위해 특별히 설계되었으며, 종종 BART보다 더 간결한 결과물을 생성합니다 [7].
• t5-small: 작업 인식을 위해 프롬프팅 (prompting, 예: "summarize: ")이 필요한 다재다능한 모델로, 설정이 약간 더 복잡할 수 있지만 매우 유연합니다 [1].

이 가이드에서는 작업별 프롬프트 없이도 즉시 작동하는 facebook/bart-large-cnn을 사용할 것입니다 [4].

요약기 파이프라인 구축하기

이제 즐거운 단계인 코드를 작성할 차례입니다. 텍스트를 읽고, 요약한 뒤, 결과를 출력하는 스크립트를 만들어 보겠습니다.

즉시 실행 가능한 완전한 Python 예제는 다음과 같습니다:

from transformers import pipeline

# 1. BART 모델로 요약 파이프라인 (summarization pipeline) 초기화
...

이 스크립트를 실행하면, pipeline이 (이미 캐시되어 있지 않은 경우) 모델 가중치 (model weights)를 자동으로 다운로드하고, 입력 텍스트를 토큰화 (tokenize)하며, 추론 (inference)을 수행한 뒤 출력 토큰을 사람이 읽을 수 있는 텍스트로 다시 디코딩 (decode)합니다 [4].

파라미터 (Parameters) 이해하기

summarizer 함수는 출력 품질과 길이를 제어하는 여러 키워드 인자 (keyword arguments)를 허용합니다:

• max_length: 요약문이 포함할 수 있는 절대적인 최대 토큰 (token) 수입니다. 모델이 더 긴 요약문을 생성하면 잘리게 됩니다 [3][4].
• min_length: 요구되는 최소 토큰 수입니다. 이는 모델이 "It is good"과 같이 지나치게 짧고 의미 없는 요약문을 생성하는 것을 방지합니다 [3][6].
• do_sample: 이 값을 False로 설정하면 모델이 가장 확률이 높은 토큰을 사용하도록 보장하며 (탐욕적 탐색 (greedy search) 또는 빔 탐색 (beam search)), 결과적으로 일관되고 결정론적인 (deterministic) 출력을 생성합니다. True로 설정하면 무작위성 (randomness)이 도입되어, 때로는 더 창의적이지만 덜 안정적인 결과를 낼 수 있습니다 [3].

요약 모델은 때때로 장황할 수 있기 때문에 이러한 파라미터들은 매우 중요합니다. 길이를 제한함으로써 모델이 가장 중요한 정보에 우선순위를 두도록 강제할 수 있습니다 [4].

실제 텍스트 처리하기

실제 애플리케이션에서는 단순히 하드코딩된 문자열만을 요약하지는 않을 것입니다. 파일, API 또는 사용자 입력으로부터 데이터를 읽어올 가능성이 높습니다. 파일 기반 입력을 위해 파이프라인을 조정하는 방법은 다음과 같습니다:

from transformers import pipeline

# 파이프라인 초기화
...

이 코드 조각은 파일을 읽어 파이프라인에 전달하는 것이 표준 워크플로 (workflow)인 실제 머신러닝 (machine learning) 기사에서 사용되는 접근 방식과 유사합니다 [9].

텍스트가 매우 긴 경우 (예: 50페이지 분량의 문서), 모델의 최대 입력 토큰 제한에 걸릴 수 있습니다. 이 경우 텍스트를 청크 (chunks) 단위로 나누고, 각 청크를 개별적으로 요약한 다음, 결과로 나온 요약문들을 다시 요약해야 합니다. 이러한 "재귀적 요약 (recursive summarization)" 기술은 모델의 제약 조건 내에 머물면서 문맥 (context)을 잃지 않도록 보장합니다 [1].

커스텀 도메인을 위한 미세 조정 (Fine-Tuning) (선택 사항)

사전 학습된 (pre-trained) BART 모델은 일반적인 뉴스에는 매우 잘 작동하지만, 의료 보고서, 법률 계약서 또는 금융 녹취록을 요약해야 한다면 어떻게 될까요? 어휘 (vocabulary)와 스타일이 크게 다를 수 있습니다.

파이프라인 (pipeline) 접근 방식은 빠른 프로토타입 제작에는 완벽하지만, 정확도를 높이기 위해 특정 데이터셋으로 모델을 미세 조정 (fine-tune)할 수 있습니다. Hugging Face의 문서는 output_dir 및 push_to_hub=True와 같은 하이퍼파라미터 (hyperparameters)를 정의하여 커스텀 모델을 저장하고 공유하는 Seq2SeqTrainer 워크플로우를 설명합니다 [1].

미세 조정 (Fine-tuning) 과정은 다음과 같습니다:

1. (입력 텍스트, 요약) 쌍으로 구성된 데이터셋 준비.
2. 레이블 (labels)을 위한 text_target을 사용하여 데이터 토큰화 (tokenizing) [1].
3. Seq2SeqTrainer를 사용하여 훈련 루프 (training loop) 실행.
4. 생성된 요약과 정답 (ground truth) 사이의 중첩도를 측정하는 ROUGE 지표 (metric)를 사용하여 평가 [1].

하지만 이제 막 시작하는 대부분의 개발자에게는 사전 학습된 파이프라인이 솔루션의 90%를 차지하며, 별도의 훈련 시간이 전혀 필요하지 않습니다 [4].

다음 단계 및 실행 제안

이제 여러분은 기사, 보고서 또는 녹취록을 몇 초 만에 압축할 수 있는 완전히 기능적인 텍스트 요약기를 갖게 되었습니다. 이 접근 방식의 묘미는 단순함에 있습니다. 모델을 훈련하거나, 하이퍼파라미터를 조정하거나, 복잡한 데이터 파이프라인을 관리할 필요가 없었습니다. 그저 라이브러리를 임포트 (import)하고, 모델을 선택한 뒤, 추론 (inference)을 실행했을 뿐입니다.

오늘 바로 시도해 보세요! 코드 예제의 text 변수를 온라인에서 찾은 긴 기사로 교체하고, max_length 및 min_length 파라미터를 조정하며 출력에 어떤 영향을 미치는지 확인한 후 결과를 공유해 보세요.

더 깊이 파고들고 싶다면, Hugging Face Model Hub를 탐색하여 특정 도메인에 특화된 모델을 찾거나, summarization 작업에 대한 공식 문서를 확인하여 고급 프롬프팅 (prompting) 기술에 대해 배워보세요 [1].

준비되셨나요? 위의 코드를 클론(Clone)하여 로컬 환경에서 실행해 보고, 무엇을 가장 먼저 요약했는지 알려주세요. 여러분이 가장 좋아하는 모델이나 요약하기 까다로웠던 텍스트를 아래 댓글로 남겨주세요 — 여러분이 무엇을 만들어낼지 정말 기대됩니다!

이 글이 도움이 되었다면, 커피 한 잔 후원하기 ☕를 고려해 주세요 — 여러분의 후원이 이런 글들을 계속 쓸 수 있는 힘이 됩니다!

또한 저의 AI 도구 모음도 확인해 보세요: AI 次元世界 — 개발자를 위한 무료 AI 도구들을 제공합니다.