내가 AI를 사용하여 수백만 건의 역사 기록을 조사하고, 잊혀진 운석 보고서, 세 마리의 실종된 코뿔소, 그리고 기타 미기록 화산 폭발 등을 찾아낸 방법.
지난주인 2026년 10월 1일, 역사가 Benjamin Breen이 Opus 5.5를 사용하여 도도의 새로운 목격자 증언을 발견하다라는 게시물을 발표했습니다. 그는 네덜란드 동인도 회사(Dutch East India Company)의 디지털화된 기록을 검색하기 위해 AI를 사용했습니다. 이 회사는 향신료 무역을 지배했으며, 1602년부터 부채로 인해 붕괴되어 1799년에 해체될 때까지 아시아 전역에 걸쳐 일련의 항구들을 운영했습니다.
GLOBALISE라는 프로젝트는 이 회사 수백만 페이지의 손글씨 기록을 검색 가능한 텍스트로 변환했습니다. Breen은 AI를 사용하여 이러한 필사본을 검색했고, 그 결과 마르티니크(Mauritius)에 있던 선원들이 “많은 거북이와 도도”를 잡았다고 기록한 1615년의 배 일지를 발견했습니다. 이는 400년 동안 눈앞에 있었던 멸종된 도도의 새로운 목격자 기록입니다.
저는 이 기사를 읽고 즉시 '나도 할 수 있겠다'는 생각을 했습니다.
역사학자가 아니기 때문이 아니라, 우연히 AI 에이전트(AI agents)를 조종하고 에이전틱 워크플로우(agentic workflows)를 만드는 데 매우 능숙한 소프트웨어 엔지니어이기 때문입니다. Breen의 게시물이 영감이 되었고, 저는 이 접근 방식을 확장하고 싶었습니다. 즉, 여러 다른 역사적 미스터리들을 병렬로 검색할 수 있고, 결과를 필터링하고 번거롭고 시간이 많이 걸리는 수동 단계를 자동화하기 위해 몇 가지 다른 AI 모델을 연결(chain)할 수 있다는 점이 매력적이었습니다.
하지만 그 매력은 기술적인 도전을 넘어섰습니다. 우리가 알고 있는 것에 기여하는 것에는 뭔가 고귀한 것이 있다고 생각합니다. 심지어 소수의 분야에 새로운 데이터 포인트 하나를 추가하는 것도 작지만 가치 있는 공헌처럼 느껴졌습니다. 제가 그렇게 할 수 있다면 정말 멋질 것이라고 생각했습니다.
저는 작지만 유능한 홈 AI 연구실을 켜고 작업을 시작했습니다.
계획
저는 먼저 'Deep Research' 어시스턴트 AI에게 질문을 던졌습니다. 온라인에 이미 존재하는 데이터로 해결 가능성이 가장 높은 역사적 미해결 과제는 무엇인지 묻는 것이었습니다. 그 결과, 데이터의 완전성과 접근성, AI가 얼마나 도움을 줄 수 있는지, 누군가 이미 시도했는지 여부, 그리고 가장 중요한 점은 답변이 원본 페이지를 통해 검증될 수 있는지에 따라 순위가 매겨진 열세 가지 후보 목록을 받았습니다. 마지막 조건이 가장 중요합니다. AI 모델은 자신 있게 틀릴 수 있기 때문에, 모든 주장은 실제 문서로 끝나야 했습니다. 즉, 실제로 손으로 쓴 편지나 인쇄된 신문의 스캔본과 같이, 누구나 찾아보고 읽어볼 수 있는 아카이브 참고 자료가 있어야 합니다. 이 목록에는 네덜란드 동인도 회사(Dutch East India Company)의 기록 보관소에 있는 동물들, 아무도 찾지 못한 1808년의 거대한 화산 폭발, 오래된 네덜란드 신문에서 감지된 지진, 기록되지 않은 운석 낙하 사례, 그리고 완전히 사라진 배들에 대한 내용이 포함되었습니다.
그런 다음 저는 Anthropic의 AI 도구인 Claude Code와 협력하여 이 연구 파이프라인을 함께 개발했습니다.
먼저 읽어야 할 자료들이 있었습니다. 1600년대부터 1790년대까지의 네덜란드 동인도 회사 아카이브에 대한 GLOBALISE 전사본(435만 페이지), 네덜란드 국립 도서관의 디지털화된 신문, 두 세기에 걸친 미국 신문들, 그리고 참고용으로 몇 권의 선박 항해 기록부였습니다.
만약 제가 직접 네덜란드 동인도 회사 페이지를 읽는다고 가정하면, 페이지당 2분씩, 하루에 8시간씩, 일주일에 5일이면 약 70년이 걸릴 것입니다. 그리고 이것은 신문 자료가 제외된 시간입니다. 저의 자체 제작 AI 연구실은 전체 아카이브를 단 한 번의 12시간 밤샘 실행으로 처리했습니다.
오래된 문서의 문제는 아무도 같은 단어를 두 번 똑같이 철자하지 않았다는 것입니다. 필기체나 오래된 인쇄물은 텍스트 인식(text recognition) 과정에서 오류가 가득하게 나오며, 심지어 17세기 네덜란드 사람들은 'rhinoceros'를 약 15가지 다른 방식으로 표기했습니다. 단순히 키워드로 검색하는 방식으로는 제가 찾고자 하는 것의 대부분을 놓칠 수밖에 없었습니다. 그 밤샘 실행은 제 그래픽 카드(graphics card)가 모든 구절을 의미에 대한 수학적 지문으로 변환한 것이었고, 네덜란드 동인도 회사(Dutch East India Company) 기록 보관소에서만 570만 개의 구절이 나왔습니다. 덕분에 저는 해당 구절이 어떤 내용에 관한 것인지 검색할 수 있게 되었고, 단순히 어떤 단어를 사용했는지 여부는 아니었습니다.
그럼에도 불구하고, 한 번의 검색만으로도 수만 건의 결과가 나올 수 있었는데, 이는 사람이 읽기에는 너무 많았고, 심지어 큰 AI 모델로도 경제적으로 처리하기 어려웠습니다. 대신, 첫 번째 판독은 Jev라는 작고 빠른 '시스템 원(System One)' 의사 결정 모델에 맡겼는데, 이 모델은 오직 좁은 질문들에만 답합니다: 이것이 실제 동물인가? 야생인가? 어디에 있는가? 백만 단어당 몇 센트의 비용이 들었습니다. 코끼리에 대한 59,000건의 언급을 읽는 데 약 3달러가 들었습니다.
이 부분이 제가 가장 자랑스러워하는 프로젝트 부분이며, 이는 AI의 아이디어가 아니라 제 아이디어였습니다. Jev를 필터링 메커니즘으로 사용하겠다고 제안했을 때, Claude Code의 Fable 모델은 아직 시스템 원 유형의 의사 결정 모델이 무엇인지 알지 못했습니다. 따라서 저희가 이를 중심으로 파이프라인을 구축하기 전에 제가 이 아이디어를 설명해야 했습니다. 이러한 연구 대부분에서 병목 현상(bottleneck)은 사람이 후보 구절들을 하나씩 읽고 어떤 것이 더 자세히 살펴볼 가치가 있는지 판단하는 것입니다. 저렴하고 빠른 심사관을 그 자리에 배치함으로써 초기 선별 작업을 자동화했고, 저는 가장 강력한 후보들과 조사 방향에 집중할 수 있게 되었습니다. 제가 면밀하게 검토했던 페이지들은 이미 기계 판독 과정을 두 번이나 거친 것이었습니다.
제브(Jev)가 표시한 구절들만 다음 단계로 넘어갔습니다. 더 큰 모델인 Claude Haiku가 그 수십 개의 구절들을 면밀히 읽고, 번역하고, 날짜와 장소를 추출했습니다. 그런 다음 Claude Code 에이전트가 각 원본 손글씨 페이지의 스캔을 열어 전사된 내용이 원본과 일치하는지 확인했습니다. 새로운 것을 호출하기 전에, 저는 전문가들이 실제로 사용하는 목록(카탈로그)들과 비교하여 확인했습니다.
이 프로젝트에서 AI가 어떻게 사용되었는지에 대한 간단한 언급입니다. 저는 과정 전체에 걸쳐 적극적으로 참여했고, 프로젝트 전반에 걸쳐 AI를 직접 운영했습니다. 저는 조사를 새로운 질문과 출처로 이끌었고, 어떤 단서들을 추적할 가치가 있는지 결정했으며, 제가 헛수고하고 있어 다음 단계로 넘어가야 할 때를 인지했습니다. 시스템은 제가 할 수 없는 규모로 검색하고 읽을 수는 있었지만, 다음에 어디로 갈지 또는 언제 멈출지를 결정하는 것은 여전히 저의 판단이 필요했습니다. 이것은 완전히 자율적인 조사가 아니라 AI가 보조한 연구였습니다.
하나 더 중요한 규칙이 있었습니다. 아무것도 찾지 못하는 검색 결과를 신뢰하기 전에, 이미 존재한다는 것을 알고 있는 무언가를 찾아낼 수 있다는 것을 증명해야 합니다. 그래서 제가 새로운 것을 찾기 전에, 파이프라인은 브린(Breen)의 도도새, 1783년 라키(Laki) 분화, 1815년 탐보라(Tambora) 등 수십 개의 알려진 사건들을 찾아내야 했습니다.
이것은 앞마당에 자신의 손목시계를 묻어 놓고 금속 탐지기로 테스트하는 것과 같습니다. 그것이 거기에 있다는 것을 당신은 알고 있습니다. 만약 탐지기가 그것을 찾지 못한다면, 다른 곳에서 진짜 보물을 수색하기 전에 해결해야 할 탐지기의 문제가 있다는 것을 알게 됩니다. 이 알려진 역사적 사건들은 제가 묻어둔 손목시계와 같았습니다. 파이프라인이 아무것도 찾아내기 전에 실패하는 것을 확인하는 방법이었습니다.
통제 과정(controls)을 통과한 후, 저는 실제 검색을 시작했습니다. 얼마 지나지 않아, 제가 맞춤 제작한 AI 연구 파이프라인은 기록을 남긴 서기(clerk)가 보관했던 이후 아무도 읽지 않았을 법한 페이지들, 인간의 눈이 수백 년 동안 읽지 못했을 이야기들을 표면으로 드러내기 시작했습니다.
화산재가 잊어버린 공룡 (The Meteorite History Forgot)
프로젝트의 첫 실제 발견은 예상치 못한 곳에서 나왔습니다. 바로 1812년 바타비아(현재 자카르타)에서 인쇄된 신문이었습니다. 바타비아는 현재 인도네시아에 있는 자바 섬에 위치하며, 이곳은 거의 두 세기 동안 네덜란드 권력의 중심지였습니다. 그리고 그 신문은 영국이 네덜란드가 아닌 이 섬을 통치했던 짧은 기간(1811년~1816년) 동안 그곳에서 인쇄되었습니다.
1812년 12월 19일, 영어로 된 Java Government Gazette는 8월 26일자 Bombay Gazette의 편지를 재인쇄했습니다. 마하라슈트라(Maharashtra)주에 있는 판다르푸르 근처에 주둔한 영국군 장교가 집으로 다음과 같은 내용을 보냈습니다:
“M 대위님은 약 사흘 전(8월 6일) 코쿠르가움 마을 근처에서 천둥 구름으로부터 떨어진 큰 호기심의 물건, 즉 돌을 소유하고 계십니다. 무게는 적어도 4파운드는 될 것이라 생각하며, 크기에 비해 매우 무겁고 철 성분이 많이 함유되어 있으며, 마치 화약이 주변에서 폭발한 것처럼 얇은 검은 딱지로 덮여 있습니다.”
천둥 소리는 “약 30초 동안 총성처럼 울렸습니다.” 그 돌은 지표면 깊숙이 한 피트(foot) 정도 파묻혀 있었습니다. 그리고 그것은 “꽤 어려움을 겪어 회수되었는데, 이는 마을 책임자인 패텔(Pattell)이 이 돌을 하늘의 창조물로 여겨 적절한 절차에 따라 기도하려 했기 때문입니다.”
Newspaper excerpt headed Bombay Gazette, August 26, 1812, describing Captain M’s stone fallen from a thundercloud, its iron content, and its thin black crust.
1812년 8월 26일자 Bombay Gazette와 1812년 12월 19일자 Java Government Gazette, p. 3. 두 번째 열의 세부 사항. Delpher에서 전체 신문 스캔본을 확인하세요.
콰광거리는 소리, 철이 풍부한 무거운 돌, 얇은 검은 딱지, 들판에 생긴 분화구: 이것이야말로 전형적인 운석 낙하 현장입니다. 그리고 이 돌은 어떤 목록에도 없습니다. 저는 1819년 Chladni의 선구적인 목록부터 영국 박물관의 카탈로그와 1933년 List of Indian Meteorites를 거쳐 오늘날의 Meteoritical Bulletin까지 여섯 개를 확인했습니다. 후속 조사를 위해 AI를 사용하여 1812년부터 1817년까지의 디지털화된 간행물 백 건을 검색했지만, 아무것도 찾지 못했습니다. 이 돌은 자연사 박물관의 소장품에도 없습니다.
확인된 바에 따르면, 제가 발굴한 이 운석 낙하 기록은 마하라슈트라(Maharashtra) 지역에서 가장 초기에 기록된 운석 낙하 사례를 대표하며, 현재까지 알려진 가장 빠른 기록보다 26년 앞섭니다.
저는 이 사슬이 얼마나 연약한지 사랑합니다. 돌멩이가 데칸(Deccan)에 떨어집니다. 한 장교가 편지를 씁니다. 봄베이 신문이 이를 인쇄합니다. 배가 그 신문을 자바(Java)로 운반하고, 우연히 영국령이었던 이 지역에서 편집자가 기사를 채워야 할 필요가 생깁니다. 사본들이 네덜란드 도서관에 들어가고, 이곳에서 디지털화되어 무료로 공개됩니다. 2세기가 지난 후에 제 사무실의 GPU가 이를 재발견합니다. 이 연결 고리 중 어느 하나라도 제거하면 운석은 역사 속에서 영원히 사라집니다.
왕에게 도달하지 못한 코뿔소들
1738년, 현재의 자카르타(Jakarta) 외곽 숲 어딘가에서 네덜란드 동인도 회사(Dutch East India Company) 직원들이 살아있는 자바 코뿔소를 포획했습니다. 이것은 선물로 보내질 예정이었습니다. 매년 회사는 스리랑카 고원 왕국 칸디(Kandy)의 국왕에게 선물을 담은 사절단을 보냈는데, 이 국왕의 호의가 계피 무역을 원활하게 유지시켜 주었기 때문입니다. 국왕은 크고 인상적인 동물들을 좋아했습니다. 그래서 그해 바타비아(Batavia)에서 네덜란드 본국으로 보내는 편지에는 왕에게 보내지는 희귀품 목록에 “숲에서 또 다른 코뿔소를 포획했으며, 이 또한 함께 보낸다”라는 내용이 포함되어 있습니다.
코뿔소는 인도양을 건너 콜롬보(Colombo)까지 도착했습니다. 하지만 칸디의 산악 지대까지 올라가지는 못했습니다. 회사의 장부 De Paardenstal(
바타비아는 다시 시도했다. 1740년 7월 5일, 선박 Loverendaal호가 바타비아를 떠나 실론으로 향했고, 그 배에는 코뿔소 두 마리(수컷과 암컷)가 타고 있었다. 출항한 지 사흘 만에 장교들, 보트스웨인, 포수들이 선박의 회계 담당자 앞에 모여 진술서를 작성했다. 그들은 코뿔소 두 마리를 살리기 위해 “모든 어려움과 노력”을 기울였음에도 불구하고, 수컷이 그날 아침 “대략 8시경”에 죽었다고 맹세했다. 열흘 후에는 두 번째 진술서가 작성되었다. 마지막 한 마리인 암컷 ‘t wijfje 역시 죽은 상태였다.
선원들의 진술서는 콜롬보의 법정에서 그들에게 다시 읽혀졌고, 그들은 “조금도 변화를 원하지 않는다는 듯” 그 진술을 고수했다. 그러자 총독이 칸디에 전할 것을 지시해야 했다. 1740년 9월 16일 자로 왕궁의 사절단에게 내려진 그의 지시는 거의 감동적이다. 그는 국왕에게 네덜란드 돼지들을 가져다주었는데, “멧돼지 한 마리와 암퇘지 두 마리였으며, 모두 아직 어린 동물이라 특히 작은 멧돼지는 분명히 크게 자랄 것”이라고 했다. 만약 개를 구할 수 있었다면 기꺼이 국왕의 요청을 들어줬을 것이다. 그리고 사절단은 법정 관리들에게 “질문받을 경우에 대비하여” 바타비아에서 Loverendaal호를 통해 보낸 코뿔소 두 마리가 항해 중에 모두 죽었다고 알려야 했다, 이는 “우리의 특별한 유감”이었다.
국왕은 그들을 기다리고 있었던 것 같다.
3년 후, 남인도 라므나드에 있던 궁정의 네덜란드 사절단에게는 그들이 무례하다고 느낀 어조로 “칸디 국왕을 위해 했던 것처럼 어린 코뿔소 한 마리를 보내줄 것”을 요청받았다. 결코 도착하지 않았던 이 선물은 다른 통치자들이 원하는 것이 되어버렸다.
