전사(Transcription)에서 의미론적 코퍼스 분석까지: 고대 언어를 위한 문장 표현의 비지도 학습
요약
고대 언어의 비구조적 텍스트 분석을 위해 레이블 없이 문장 임베딩을 최적화하는 두 가지 비지도 학습 전략(TSDAE, CSE)을 제안합니다. 실험 결과, 제안된 방식은 기존 다국어 인코더보다 뛰어난 성능을 보이며 성서 재사용 식별 및 노이즈 텍스트 처리에서 탁월한 효과를 입증했습니다.
핵심 포인트
- TSDAE와 CSE를 활용한 고대 언어 특화 비지도 문장 인코더 연구
- 성서 재사용 식별을 위한 이진 탐지 및 대응 검색 성능 입증
- 노이즈가 포함된 ATR 텍스트 및 필사자 약어 환경에서도 강건함 유지
- 소량의 데이터(4~8k 문장)와 짧은 학습 시간으로 최적 성능 도달 가능
- 온라인 도구 Paraphrasis를 통해 비전문가에게 분석 파이프라인 제공
자동 텍스트 인식 (Automatic Text Recognition, ATR)은 이제 디지털 인문학에 고대 언어로 된 대량의 비구조적이고 이질적이며 종종 노이즈가 포함된 텍스트를 제공합니다. 하위 단계의 의미론적 분석(텍스트 재사용 식별, 정렬 및 의미론적 검색)은 문장 임베딩 (sentence embeddings)에 의존하지만, 기존 방법들은 고대 언어로의 전이가 잘 이루어지지 않습니다. 일반적인 다국어 인코더 (multilingual encoders)는 성능이 낮고, 특화된 언어 모델 (language models)은 비등방성 표현 공간 (anisotropic representation spaces)을 생성하며, 레이블이 지정된 유사도 데이터 (labeled similarity data)를 사용할 수 없기 때문입니다. 우리는 오직 가공되지 않은 문장만을 사용하여 특화된 토큰 수준 언어 모델을 코퍼스 특화 문장 인코더 (corpus-specific sentence encoder)로 적응시키는 두 가지 완전 비지도 전략인 TSDAE와 대조적 문장 임베딩 (contrastive sentence embedding, CSE)을 연구합니다. 교부 문헌에서의 성서 재사용이라는 문헌학적으로 중심적인 사례(Augustine, Jerome, Athanasius의 라틴어 및 고대 그리스어에서 추출한 2,935개의 전문가 검증 병행 구절)를 바탕으로, 우리는 재사용 식별을 이진 탐지 (binary detection)와 대응 검색 (correspondence retrieval)이라는 별도로 평가된 두 가지 작업으로 분해하고, 적응된 인코더를 다국어, 특화, 증류 (distilled) 및 지도 미세 조정 (supervised fine-tuned) 베이스라인과 비교 벤치마킹합니다. 또한 HTR 아티팩트(artifacts)와 필사자의 약어를 시뮬레이션하는 인위적으로 노이즈가 섞인 데이터에서도 테스트합니다. 적응된 인코더는 두 작업 모두에서 모든 베이스라인을 능가하며 상호 보완적인 특성을 보입니다. TSDAE는 대규모 도메인 내 코퍼스가 주어졌을 때 탐지 (detection)에서 앞서며, CSE는 검색 (retrieval)에서 앞서고, 단 4~8k개의 가공되지 않은 도메인 내 문장만으로도 최적의 성능에 도달합니다(노트북 GPU에서 수십 초의 학습만으로 가능). 또한 CSE는 작품과 저자를 가로질러 전이되며, 노이즈가 있는 post-ATR 텍스트에 대해 직접 재학습할 경우에도 성능을 발휘합니다. UMAP 아틀라스는 각 전략의 기하학적 효과를 측정된 이득과 연관시키며, 세그멘테이션 (segmentation), 미세 조정 (fine-tuning), 교차 코퍼스 의미론적 검색 (cross-corpus semantic search)을 포함한 전체 파이프라인은 온라인 도구인 Paraphrasis를 통해 비전문가들에게 제공됩니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기