저는 지난 44일 동안 공개 출처에서 AI 시그널을 매일 수집해 왔습니다. 이번 주에 이 모든 것을 기계가 읽을 수 있는 데이터셋으로 발표했습니다. 그 과정에서 저는 완전히 조용했던 세 가지 실패 모드를 만났는데, 에러도 없고 로그 라인도 없으며, 그저 '아무 일도 일어나지 않는' 상태였습니다. 공개 API나 데이터셋을 발행하는 분들에게는 알아둘 가치가 있습니다. 왜냐하면 이것들이 저에게 몇 시간을 낭비하게 했고, 여러분은 이 함정들을 건너뛰었으면 좋겠기 때문입니다.

데이터셋에 대한 설명

• 17,397개 행, 시그널당 한 행으로 구성되며, 44일간의 일별 에디션 (2026-09-01 → 2026-10-14)에 걸쳐 있습니다.
• 필드: source, board, title, url, summary, org, topics, timestamp, edition_date
• 출처: GitHub 트렌딩, Hugging Face 모델, YouTube 강연, arXiv 논문, LMSYS Arena 보드, AI 뉴스
• JSONL 형식이며, CC BY 4.0 (상업적 이용 가능, 출처만 명시) 라이선스이고 매일 업데이트됩니다.
• [https://huggingface.co/datasets/leopardyzzj/ai-signals-daily]

트랩 1 — CDN의 stdlib 클라이언트가 일으키는 403 에러와, 로그에는 아무것도 남지 않음

JSON 엔드포인트가 Cloudflare 뒤에 위치한 경우, 기본 Python-urllib/3.x User-Agent를 사용하거나 UA가 비어 있는 요청은 **엣지(edge)**에서 403 에러를 받을 수 있습니다. 이 요청은 원본 서버(origin)에 도달하지 않기 때문에 액세스 로그는 비어 있고 모니터링 시스템은 정상으로 표시됩니다.

이 함정은 403 에러 자체가 아닙니다. 문제는 여기서 도출하는 결론입니다. 여러분은 로그를 보고 트래픽이 없다는 것을 확인하고 '아무도 내 API를 사용하지 않는다'고 판단합니다. 하지만 실제로는 문서에 있는 표준 라이브러리 예제를 따라 하는 사람들이 403 에러를 받고, 여러분의 API가 고장 났다고 오해하게 됩니다.

해결책: 실제 User-Agent를 전송하세요. 그리고 이를 문서화해야 합니다. 왜냐하면 urllib의 기본 동작 방식 자체가 차단되고 있는 것이기 때문입니다:

req = urllib.request.Request(url)
req.add_header(

저는 `POST /api/datasets/{repo}/upload/main/{filename}`에 대한 uploader를 만들었습니다. 예전에는 작동했습니다.
지금은 다음과 같은 응답이 옵니다:

HTTP 410: 이 엔드포인트는 사용 중단되었으며 폐지되었습니다. 대신 커밋(commit) 엔드포인트를 사용하세요.

대체 방법은 **커밋** 엔드포인트이며, NDJSON 형식을 받습니다. 즉, 헤더 라인 다음에 파일당 한 줄씩 base64 콘텐츠가 들어갑니다. 작은 파일은 인라인으로 처리되며, 10MB를 초과하는 것은 LFS(Large File Storage)가 필요합니다.

lines = [json.dumps({"key": "header", "value": {"summary": "daily refresh"}})]
for f in files:
lines.append(json.dumps({"key": "file", "value": {
...

## 함정 3 — 네임스페이스를 하드코딩하지 마세요

이것은 창피한 실수였고, 가장 많은 시간을 낭비하게 만들 뻔했던 부분입니다.

제 출판사에서는 `owner = "my-org-name"`을 코드에 작성했지만, 제가 받은 API 토큰은 **다른 계정**의 것이었습니다. 그 결과: 레포지토리는 토큰이 속한 계정에 생성되었고, 모든 파일 업로드는 다른 네임스페이스로 전송되었습니다. 모든 파일에서 `403` 에러가 반환되었는데, 이는 불안정한 네트워크 문제처럼 보였습니다.

대신 토큰으로부터 네임스페이스를 파악하고, 200개 파일 업로드를 시작하기 전에 해당 토큰이 실제로 쓰기(write) 권한을 가지고 있는지 확인하세요:

GET https://huggingface.co/api/whoami-v2

-> {"name": "<account>", "auth": {"accessToken": {"role": "write"}}}}

만약 그 역할(role)이 `write`가 아니라면, 읽기 전용 토큰은 인증에 성공하고 괜찮아 보이다가도 업로드 시점에 실패합니다. 이는 발견하기 가장 최악의 경우입니다.

## 공통점

세 가지 함정 모두 한 가지 속성을 공유합니다: **조용히 실패하며(fail silently), 오해를 불러일으키는 신호가 실패 지점과 다른 곳에서 도착한다**는 것입니다. CDN 차단은

데이터나 API를 공개할 때는 저렴한 보험이 있습니다: 마치 외부의 낯선 사람이 사용하는 기본 설정으로, 자신의 표면을 **익명으로** 조사해 보세요 — 그리고 배포할 때마다 그렇게 하세요. 제가 겪었던 최악의 버그 대부분은 내부에서는 보이지 않았습니다.

_데이터셋: [huggingface.co/datasets/leopardyzzj/ai-signals-daily](https://huggingface.co/datasets/leopardyzzj/ai-signals-daily) (CC BY 4.0). 또한 무료 일일 요약본(핵심 소스별 4가지 시그널)도 있으며, 전체 아카이브를 한 번에 JSONL 형식으로 원한다면 일회성 CA$5가 필요합니다: [buy.stripe.com/00w28r4W08qq8CcecHgw008](https://buy.stripe.com/00w28r4W08qq8CcecHgw008)._