BERT에서 T5까지: 개체명 인식 (NER)에 관한 연구

요약

본 보고서는 BERT와 T5 모델을 활용하여 개체명 인식(NER) 작업을 수행하고 두 아키텍처의 성능을 비교 분석합니다. BERT는 인코더 전용 구조와 분류 헤드를 사용하고, T5는 시퀀스 투 시퀀스 구조와 퓨샷 프롬프트를 활용하여 미세 조정을 진행했습니다. 다양한 하이퍼파라미터 절제 연구와 성능 지표 분석을 통해 각 모델의 특성과 오류 패턴에 대한 통찰을 제공합니다.

핵심 포인트

• BERT(Encoder-only)와 T5(Seq2Seq) 모델을 활용한 NER 구현 및 비교
• BERT 모델에 가중치 교차 엔트로피(Weighted cross-entropy) 손실 함수 적용
• T5 모델의 퓨샷 프롬프트 기반 미세 조정 및 검증 전략 수행
• 하이퍼파라미터 절제 연구(Ablation study)를 통한 모델 성능 분석
• 두 아키텍처의 시퀀스 레이블링 능력 및 오류 패턴 비교