그날은 "상태(status)"라는 단어로 시작되었습니다.

저는 답변이 짧기를 바라며 아무런 수식 없이 그 단어를 모델에 입력했습니다. 답변은 프로젝트 대시보드 형태의 결과로 돌아왔습니다: RAG 인덱스 695,337개 청크(chunks), 섹터 감사(sector-audit) 홀 13/136개, 어드바이저 3명 착륙, 항만 활동(port-activity) 인제스트(ingest)가 어제 저녁에 새로 연결됨. 목록의 마지막 항목은 어제 세션의 후속 불렛 포인트였습니다: "창업자가 #3 HDX 항만 활동의 차단을 해제함 — ingest/port_activity_to_duckdb.py 완료: imf_portwatch_daily 78,880개 행 · 29개 항만 · 2019-01 → 2026-06 + 11개의 transport_port_activity 내러티브 청크. NIGERIAN_KINDS에 친절하게 추가됨. RAG: 695,326 → 695,337. DHS + IATI는 여전히 창업자 통화 대기 중."

항만 활동(port-activity) 노트는 어제 일과가 끝날 무렵 작성되었습니다. 두 가지 데이터셋 결정 사항 — DHS Subnational과 IATI Nigeria, 둘 다 HDX "기타(Other)" 라이선스로 표시됨 — 이 미결 상태로 남아 있었습니다. 의도했던 계획은 이 문제들을 처리하고, 마무리한 뒤 다음 단계로 넘어가는 것이었습니다.

저는 먼저 DHS + IATI 스레드를 선택했습니다. 두 패키지 모두 2026-06-20부터 data/forecasts/hdx/에 다운로드된 상태로 인덱싱되지 않은 채 라이선스 확인을 기다리고 있었습니다. HDX API의 package_show 엔드포인트는 요약 목록에는 나타나지 않는 license_other 필드에 숨겨진 실제 라이선스 텍스트를 반환했습니다. DHS는 CC-BY-NoDerivatives 4.0으로 확인되었습니다. 이는 실제 CC 라이선스이지만, 우리의 화이트리스트(whitelist)에 있는 것은 아니었으며, 결정적으로 파생 저작물(derivative-works) 조항 때문에 해당 데이터에 대해 LLM이 의역한 브리핑을 작성하는 것이 법적으로 모호해지는 라이선스였습니다. IATI는 _"라이선스는 발행자에 따라 위임됨(licence is delegated per publisher)"_으로 확인되었습니다. 이는 모든 활동이 보고 기관이 선택한 CC(또는 비-CC) 약관을 따르는 혼합 라이선스 풀(mixed-licence pool)이었으며, JSONL 내보내기 파일에는 필터링할 수 있는 활동별 필드가 없었습니다.

둘 다 방화벽(firewalled) 처리되었습니다. 트래커 행들이 ❌ 대기 중(pending)에서 🚫 방화벽 처리(firewalled)로 이동되었습니다. 두 개의 메모리 파일이 작성되었습니다. DHS가 채우려 했던 보건 및 교육 분야의 사각지대는 여전히 열려 있으며, IATI가 채우려 했던 재정 지원(fiscal-aid) 격차는 동일한 HDX 배치 내의 더 깨끗한 라이선스를 가진 형제들(OCHA FTS, CBPF, CERF, IFRC — 모두 통일된 조건 적용)에 의해 이미 부분적으로 메워져 있습니다.

그것은 이야기의 끝처럼 보였습니다. 하지만 실제로는 중간이었습니다.

"정부 웹사이트에서 가져온 것이라 문제가 없을 줄 알았습니다"

창업자의 다음 메시지는 무심한 듯 단정적이었습니다: 정부 웹사이트에서 가져온 포트 활동(port activity)을 다시 한번 확인해 봅시다. 저는 그것에 아무런 문제가 없을 것이라고 생각했습니다.

이것이 바로 훌륭한 포착을 만들어내는 규율입니다. 즉, 어제의 확신에 찬 메모조차 포함하여 그 무엇도 아직 신뢰하지 않는 독자의 태도입니다. IMF PortWatch는 나이지리아 정부 웹사이트가 아닙니다(이는 전 세계 포트 활동을 위한 IMF의 선박 추적 대시보드입니다). 하지만 창업자의 직관은 단어보다 더 깊은 사실을 읽어냈습니다: 만약 우리가 어떤 출처에 대해 조용히 확신해 왔다면, 누군가는 이를 살펴봐야 한다.

포트 활동(port-activity) 패키지에 대한 HDX API는 license_other 필드에 다음과 같이 문자 그대로 반환했습니다:

https://www.imf.org/en/about/copyright-and-terms

단순한 URL일 뿐입니다. CC 라이선스는 선언되어 있지 않았습니다. CC-BY도, CC-BY-4.0도, 그 어떤 CC도 아니었습니다. IMF 자체의 저작권 페이지를 가리키는 포인터였으며, (이미 문서화된 이유로 인해 www.imf.org가 우리 스택에서 Akamai에 의해 차단되어 있어 Wayback을 통해) 확인해 본 결과, 해당 페이지는 2024-10-11부터 효력이 발생하는 **IMF 자체의 맞춤형 데이터 약관(bespoke Data Terms)**을 선언하고 있었습니다. Creative Commons 스펙트럼 어디에도 속하지 않는 내용이었습니다.

해당 데이터 약관(Data Terms)은 우리의 사용 사례에 있어 실질적으로 허용적인 수준입니다. "IMF 데이터의 사용(Use of IMF Data)" 섹션은 IMF의 일반적인 상업적 이용 금지 조항을 명시적으로 무효화하며, 출처 표기(attribution) 및 무결성(integrity)을 준수한다는 조건 하에 _"다운로드, 추출, 복사, 파생 저작물 생성, 게시, 배포 및 사용"_을 허용합니다. 바로 뒤이어 _"IMF 데이터의 잠재적인 상업적 재사용을 위해서는 [email protected]로 이메일을 보내 허가를 요청하십시오,"_라는 진정으로 모호한 조항이 등장하는데, 이는 작성자의 해석을 얼마나 보수적으로 하느냐에 따라 안전장치(safety-belt)일 수도 있고 엄격한 관문(hard-gate)일 수도 있습니다. 하지만 중요한 사실은 변하지 않습니다. 이것은 CC-BY 4.0이 아닙니다.

어제 작성한 인제스트 노트(ingest note)에는 다음과 같이 확신에 차서 적혀 있었습니다: "HDX 매니페스트(manifest)에는 '기타(Other)'로 표시되어 있지만, 상위 소스인 IMF PortWatch (portwatch.imf.org)는 CC-BY 4.0을 게시하고 있습니다." 그 주장은 검증되지 않은 것이었습니다. 저는 문맥과 합리적으로 들리는 문구에 기반하여 그렇게 가정했을 뿐입니다. sources/ingest/port_activity_to_duckdb.py 파일 내의 세 가지 하드코딩된 문자열(hardcoded strings)이 잘못된 CC-BY-4.0 선언을 포함하고 있었습니다. RAG 인덱스의 11개 내러티브 청크(narrative chunks) 각각의 상단에는 _"출처: HDX를 통한 IMF PortWatch (portwatch.imf.org). 라이선스: CC-BY 4.0."_이라는 문장이 포함되어 있었습니다. DuckDB의 imf_portwatch_daily 카탈로그 메타데이터에도 "license": "CC-BY-4.0" 필드가 있었습니다.

항만 활동(port-activity) 데이터를 인용한 모든 은행 대상 브리프(bank-facing brief)에는 해당 푸터(footer)가 표시되었을 것입니다. 브리프를 읽는 변호사라면 누구나 그 불일치를 포착했을 것입니다. 왜냐하면 IMF 데이터 약관에는 CC-BY 4.0 푸터가 지워버리는 고유한 지문(fingerprint), 즉 특정 출처 표기 문자열인 _" Source: International Monetary Fund, Database <>"_을 요구하기 때문입니다. 이 실패는 "라이선스가 없는 소스를 인용했다"가 아니라, "잘못된 라이선스 하에 소스를 인용하여 이용 약관에 대해 독자를 오도했다"가 될 것입니다. 이는 성격이 다른 실수이며, 수탁자(fiduciary)를 대상으로 하는 제품에게는 단연코 더 나쁜 실수입니다.

수정 작업은 약 20분 만에 완료되었습니다. 수집(ingest) 스크립트에서 세 개의 소스 문자열(source-string)을 편집하고, 올바른 출처 표기("_ Source: International Monetary Fund, IMF PortWatch Nigeria daily port activity … Terms: IMF Data Terms (imf.org/en/about/copyright-and-terms)")로 11개의 청크(chunk)를 제자리에서 교체(replace-in-place)하는 재실행 과정을 거쳤으며, 이전 노트가 잘못되었다는 발견 사실을 공개적으로 기록하는 트래커(tracker) 노트를 추가했습니다.

스스로를 만들어낸 규칙

이 문제로 인해 남은 하루의 작업 방식이 바뀌었습니다. 커버리지 트래커(coverage tracker)에 남아 있는 모든 ❌ 대기 중인 행(pending row)은 수정하기 전에 동일한 '원문 우선 검증(verify-verbatim-first)' 단계를 거쳤습니다. HDX에서 발행된 패키지의 경우: 요약 목록을 신뢰하지 말고 API에서 license_other를 직접 가져오십시오. HDX가 아닌 나이지리아 정부 사이트의 경우: 실제 /legal/ 페이지를 읽어야 하며, 파일 형식이 PDF라면 앞부분(front matter)을 샘플링하여 내장된 약정서(engagement-letter) 조항을 확인해야 합니다.

단축 목록(shortlist)의 다음 5개 항목:

• HDX 나이지리아 의료 시설 (HDX Nigeria health-care facilities) (GRID3 발행) — API는 license_id: cc-by, license_title: Creative Commons Attribution International (CC BY), license_url: http://www.opendefinition.org/licenses/cc-by를 반환했습니다. 교과서적인 CC-BY입니다. 화이트리스트(whitelist)에 포함됩니다. 깔끔하게 수집됨: 37개 주와 769개 LGA(지방정부 구역)에 걸친 46,146개의 시설이 DuckDB nga_health_facilities로 수집되었으며, 주별로 38개의 서술형 RAG 청크(chunk)가 추가되었습니다. 이번에는 모든 청크가 올바른 출처 표기 문자열을 포함하고 있습니다. 기억에 의존해 하드코딩된 CC-BY 선언을 작성하지 않았습니다. 데이터 자체도 은행 업무에 유용합니다: 소유 구조(공공 / 민간 / 미션), 기능 상태(74.3% 기능 중, 25.5% 미상), 계층(95.3% 1차, 2.9% 2차, 1.7% 3차)을 포함한 LGA 수준의 시설 인벤토리입니다. 라고스(Lagos) 주만 해도 20개 LGA에 걸쳐 2,320개의 시설이 있으며, 49.6%는 민간, 24.1%는 주 PHCDA 소유입니다. 이는 은행이 병원 대출 포트폴리오의 인수(underwrite)를 결정할 수 있게 해주는 수준의 세분성(granularity)입니다.

• Mozilla Common Voice — 나이지리아 언어들. common-voice/cv-dataset GitHub 저장소에서 자구 그대로 확인된 라이선스: CC-0 (퍼블릭 도메인 기증). 리스크 제로. 하지만 나이지리아 언어의 커버리지는 그 자체로 솔직한 현실을 보여줍니다: Hausa 4.09 검증 시간, Yoruba 5.57, Igbo 0.02, Pidgin은 Common Voice에서 완전히 누락됨. v13 → v21 (2023-03 → 2025-03) 릴리스에 따른 궤적을 보면 Yoruba가 가장 빠르게 성장하고 있으며, Hausa는 완만하고 꾸준하게, Igbo는 사실상 정체 상태입니다. 메타데이터는 4개의 RAG 청크(chunks)로 랜딩되었습니다; 현재 음성 파이프라인(speech pipeline)이 없으므로 오디오 파일은 다운로드하지 않았습니다. 이는 공백이 명시된 상태로 정직하게 목록화된, 접근성 워크스트림(accessibility workstream)을 위한 미래의 기질(substrate)입니다.

• Nigerian Pidgin Bible (eBible.org, Pidgin 코퍼스(corpus) 보충제로 기대됨). eBible에 있는 유일한 Pidgin 번역본의 상세 페이지에는 다음과 같이 적혀 있습니다: "Copyright © 2019 Wycliffe Bible Translators, Inc. … All rights reserved." 그 어떤 CC 라이선스도 아닙니다. 방화벽이 쳐져 있습니다. Pidgin의 공백은 다른 방식으로 메워져야 합니다 — AfriSenti (CC-BY-4.0), WURA Pidgin split (Apache-2.0, 이미 일부 적용됨), NollySenti (CC-BY-SA-4.0) — 이들은 모두 기존 메모리에 기록되어 있으며, 오늘의 감사(audit)는 이를 대체하기보다는 재확인했습니다.

• NEITI — Nigeria Extractive Industries Transparency Initiative (나이지리아 추출 산업 투명성 이니셔티브) 감사 보고서 (99번 행, 석유 및 가스 + 고체 광물 + 재정 할당 조정 감사). 이것은 미묘했습니다. 우리의 지난 조사 이후 NEITI 사이트가 Next.js로 마이그레이션되었지만, SSR (Server-Side Rendering) HTML은 여전히 55개의 감사 PDF URL을 깔끔하게 노출하고 있습니다. /legal/ 페이지에는 _"콘텐츠는 저작권 및 지적 재산권 법률에 의해 보호됩니다."_라고 명시되어 있습니다. 전통적인 저작권 방식이며, CC (Creative Commons) 부여는 없습니다. 하지만 더 깊은 차이점은 PDF 자체에 있습니다. NEITI가 결과물을 게시하기 전, 감사 법인(Taju Audu & Co)이 원문 그대로 삽입한 2013년 석유 및 가스 감사 보고서의 3페이지에는 다음과 같이 적혀 있습니다: "본 보고서는 오직 과업 지시서(Terms of Reference)에 명시된 사항에 대해 NSWG에 정보를 제공하기 위한 용도이며, 다른 어떤 목적으로도 사용될 수 없습니다." NEITI는 법적 명령에 따라 보고서를 _게시(publishes)_하는 것이지, 이를 _저작(author)_하는 것이 아닙니다. 저작은 감사 법인들이 하며 — 연도마다 서로 다른 법인이 수행함 — 각 법인은 하위 사용을 규제하는 업무 수임 서신(engagement-letter) 문구를 첨부합니다. 나이지리아 법령상의 저작권 없음 상태(세법 및 대통령 발표 자료에 적용됨)는 법령에 따라 게시된 컨설팅 결과물에는 확장 적용되지 않습니다. 카탈로그 전용 수집 (Catalog-only ingest): 연도 + 섹터 + URL이 포함된 55개의 감사 보고서 제목과, /media/news/*에 있는 NEITI가 직접 작성한 3개의 보도 자료에 대한 공정 이용 (fair-use) 추출을 수행했습니다. 총 7개의 RAG (Retrieval-Augmented Generation) 청크입니다. 전체 텍스트 수집을 위해서는 NEITI로부터 서면 재사용 라이선스가 필요하며, 추후 석유 투명성 전체 텍스트가 전략적으로 중요해질 경우 설립자가 [email protected]를 통해 이를 추진할 수 있습니다.

• PEBEC — Presidential Enabling Business Environment Council (91행, 라이브 사이트가 Clerk 인증 뒤로 이동된 이후 Wayback을 통해 수집된 200MB의 개혁 보고서). PEBEC는 대통령실 산하 기관이며, 해당 보고서들은 자체 작성된 연방 정부의 공공 출력물(public output)입니다. 이는 이미 코퍼스(corpus)에 포함된 대통령실(State House) 정책 발표와 동일한 저자 계층에 해당하며, NEITI 감사 법인 계층과는 구별됩니다. 텍스트 추출이 가능한 15개의 PDF를 수집했습니다: 기업하기 쉬운 환경 조성을 위한 행정명령(Executive Order) 1호 (2017), 국가 행동 계획(National Action Plans) NAP-60 / 2.0 / 5.0 / 7.0, 3개의 EO1 준수 보고서 (2021, 2022, 2024-H1), 2022년 기업 촉진법(Business Facilitation Act) 전문 및 2023년 준수 보고서, 그리고 가장 큰 단일 아티팩트(artifact)인 2021년 1월 지방 정부 기업하기 쉬운 환경 기준 조사(Subnational Ease of Doing Business Baseline Survey) — 36개 주와 연방 수도 지구(FCT)를 규제 마찰 지표로 평가한 156페이지 분량입니다. 759개의 새로운 RAG 청크(chunks). 스캔된 PDF 2개는 OCR 백로그로 보류되었습니다. 중복 항목 1개는 건너뛰었습니다.

순차적인 5단계 결정: 포착 및 수정(catch-and-correct), 방화벽(firewall), 데이터 정제(land-clean), 메타데이터만 유지(land-metadata-only), 방화벽(firewall), 카탈로그 전용(catalog-only), 데이터 정제(land-clean). RAG 인덱스는 하루 시작 시점의 695,337개 청크에서 종료 시점 696,145개로 이동했습니다. 극적인 변화는 아닙니다. 하지만 5개 항목 중 2개는 단순한 원시 청크(raw-chunk) 수보다 훨씬 더 큰 대화의 전환점(conversation-changers)이 되었습니다.

감사(audit)를 통해 명확해진 차이점

오늘 업무 시작 시점의 멘탈 모델(mental model)은 _"나이지리아 연방 정부 콘텐츠는 출처 표기(cite-with-attribution)를 동반한다면 기본적으로 수집하기에 안전하다"_였습니다. 그 모델은 대체로 맞았습니다. 대통령실(State House) 발표, 세법, 중앙은행(CBN) 코퍼스, NAICOM 보험 코퍼스, NDIC 은행 안정성 코퍼스, NUPRC 가스 섹터 행(rows)을 올바르게 처리했습니다.

오늘의 흐름을 통해 드러난 것은 그 모델이 너무 거칠었다(coarse)는 점입니다. 핵심적인 질문은 _"이것을 누가 발행했는가?"_가 아니라, _"이 특정 아티팩트(artifact)를 누가 작성했는가?"_입니다.