요약

rs-trafilatura는 Rust 기반으로 개발된 웹 콘텐츠 추출 라이브러리입니다. 빠른 속도와 높은 정확도를 자랑하며, 기사, 포럼 등 7가지 페이지 유형을 분류하고 각 유형에 맞는 전문 추출 프로필을 제공합니다. Markdown 출력 및 풍부한 메타데이터 지원으로 구조화된 데이터를 얻을 수 있습니다.

핵심 포인트

• 속도와 정확성 모두 우수하며, 기사당 평균 71 파일/초의 빠른 처리 속도를 기록합니다.
• XGBoost 분류기를 사용하여 기사, 포럼 등 7가지 페이지 유형을 감지하고 추출할 수 있습니다.
• 추출 품질 예측기(ML 기반)를 통해 신뢰 점수를 산출하며, F1 점수 미달 시 LLM 대체 기능 적용 후보가 됩니다.
• 제목, 표 등을 보존하는 GitHub Flavored Markdown 형식으로 출력이 가능합니다.