URL을 Markdown으로 변환하는 도구의 Content-Type 헤더 신뢰 문제와 신문 광고 노출 경험

요약

웹 페이지를 Markdown으로 변환하는 API 운영 중, Content-Type 헤더 신뢰 문제에 직면했습니다. 이 문제를 해결하기 위해 단순하지만 효과적인 콘텐츠 밀도 검사(content-density check)와 메타 태그 분석을 도입했습니다. 이는 HTTP 헤더가 사실이 아닌 주장일 수 있음을 보여줍니다.

핵심 포인트

• Content-Type 헤더는 신뢰할 수 없으며, 추가 검증이 필요합니다.
• 콘텐츠 밀도 검사(content-density check)를 통해 콘텐츠 품질을 판단했습니다.
• HTTP 상태 코드와 Content-Type은 '주장'으로 간주해야 합니다.