이건 맹점이다.

요약

웹 스크레이핑 과정에서 발생하는 불필요한 HTML 노이즈를 Markdown으로 변환하는 기법을 통해 LLM API 토큰 사용량을 획기적으로 줄일 수 있습니다. 이 방법은 웹 페이지의 구조적 데이터를 정제하여 입력 크기를 대폭 압축함으로써, GPT, Claude, Gemini 등 어떤 LLM 모델에도 적용 가능하며 막대한 비용 절감 효과를 가져옵니다.

핵심 포인트

• 웹 스크레이핑 데이터에서 발생하는 불필요한 HTML 태그(div, CSS 등)가 토큰 과금의 주범입니다.
• HTML을 Markdown으로 변환하는 과정(HTML→Markdown変換)만으로 입력 토큰 수를 80% 이상 절감할 수 있습니다 (예: 16,180토큰 → 3,150토큰).
• Playwright, html2text, 정규 표현식 등 오픈소스 도구 조합만으로 비용 최적화된 스크레이퍼를 Python 10줄 내외로 구현할 수 있습니다.
• 이 솔루션은 특정 LLM 모델에 종속되지 않고, OpenAI, Anthropic, Google 등 모든 주요 LLM API에서 범용적으로 사용 가능합니다.