AI가 어떻게 헤르쿨라네움의 읽히지 않은 두루마리들을 해독하고 있는가

2천 년 동안 지속된 잔혹한 거래

서기 79년 베수비오(Mount Vesuvius) 화산이 폭발했을 때, 로마의 도시 헤르쿨라네움(Herculaneum)은 초고온의 화산 가스와 재의 급증 아래 매몰되었습니다. 온도가 너무 높아서 나무, 음식, 인체 조직, 파피루스(papyrus)와 같은 모든 유기물을 탄화(carbonize)시킬 정도였습니다. 고고학자들이 현재 '파피루스의 빌라(Villa of the Papyri)'라고 부르는 곳에 보관된 두루마리들에게 이는 역사상 가장 역설적인 보존의 역설 중 하나를 만들어냈습니다. 그들을 파괴했어야 할 화산 폭발이 오히려 그들을 시간 속에 얼려버린 것입니다. 하지만 그 방식은 만지기만 해도 부서지는 물체로 만드는 방식이었습니다.

약 2천 년 동안, 헤르쿨라네움 파피루스를 읽고자 했던 모든 학자는 동일하고 불가능한 절충안에 직면했습니다. 두루마리를 펼쳐서 파괴할 것인가, 아니면 봉인된 상태로 두어 아무것도 배우지 못할 것인가 하는 문제였습니다. 탄화된 파피루스를 물리적으로 펼치려 했던 18세기의 시도들 — 일부는 안토니오 피아조(Antonio Piaggio)가 발명한 기계를 사용함 — 은 텍스트의 파편들을 회수했지만, 접촉한 부분의 상당 부분을 희생시켰습니다. 그 과정은 되돌릴 수 없었습니다. 얻어낸 모든 단어는 결코 되돌릴 수 없는 구조적 손상의 대가를 치러야 했습니다.

그 결과, 고대 철학과 문학의 전체 역사 기록을 왜곡하는 침묵이 발생했습니다. 수백 개의 온전한 두루마리들이 읽히지 않은 채 남아 있습니다. 이 빌라의 도서관은 에피쿠로스 철학(Epicurean philosophy), 특히 가다라의 필로데무스(Philodemus of Gadara)의 저작들에 집중되어 있는 것으로 보이지만, 텍스트들이 여전히 검게 탄 원통 안에 봉인되어 있기 때문에 학자들은 그 컬렉션이 또 무엇을 담고 있는지 확인할 수 없습니다. 아리스토텔레스(Aristotle), 사포(Sappho), 또는 초기 로마 역사가들의 실전된 저작들이 그 컬렉션 안에 있을 수도 있습니다. 아무도 알지 못합니다.

이것은 더 나은 발굴 기술이나 더 세심한 취급으로 해결할 수 있는 문제가 아니었습니다. 탄화된 파피루스 (carbonized papyrus)의 물리적 취약성은 인내심이나 정밀함의 문제가 아니라, 화학과 물리학에 의해 부과된 제약입니다. 아무리 숙련된 손이라 할지라도, 탄소로 융합되어 버린 고대 식물 섬유의 층을 손상 없이 분리해낼 수 있는 메스나 브러시는 존재하지 않습니다. 이 두루마리 안에 갇힌 고대 그리스 및 로마의 텍스트들은 더 세심한 고고학자를 기다리고 있었던 것이 아닙니다. 그것들은 두루마리를 전혀 건드릴 필요가 없는 방식을 기다리고 있었습니다.

팀이 실제로 수행한 방법: 가상 언래핑 (Virtual Unwrapping) 설명

PHerc. 1667을 읽어낸 기술인 가상 언래핑 (virtual unwrapping)은 두루마리를 전혀 건드리지 않습니다. 연구진은 먼저 고해상도 X선 컴퓨터 단층 촬영 (X-ray computed tomography)을 사용하여 말려 있는 파피루스를 스캔하여, 내부의 모든 압축된 층에 대한 정밀한 3차원 디지털 지도를 구축합니다. 그런 다음 소프트웨어가 계산적으로 그 층들을 분리하여, 약 2천 년 동안 열리지 않았던 물체로부터 평평하고 읽을 수 있는 표면을 만들어냅니다. 물리적인 두루마리는 전체 과정 동안 봉인된 상태로 유지됩니다. 보존 위험도 없고, 되돌릴 수 없는 결정도 필요하지 않습니다.

더 어려운 문제는 층이 분리된 후 잉크를 감지하는 것입니다. 고대 헤르쿨라네움의 서기들은 탄소 기반 잉크 (carbon-based ink)로 글을 썼고, 베수비오 화산의 폭발은 파피루스 자체를 탄화시켰습니다. 그 결과, 잉크와 기록 표면의 밀도가 거의 동일하여 표준 X선 영상에서는 거의 구별할 수 없게 되었습니다. 연구팀은 파피루스 위에 잉크가 어디에 위치하는지를 드러내는 미세한 질감 및 표면 차이를 찾아내도록 머신러닝 (machine learning) 모델을 특별히 학습시켰습니다. 이러한 차이는 전통적인 스캐닝 분석으로는 보이지 않지만, 충분한 학습 데이터를 통해서는 학습 가능한 것입니다.

CT 스캔 (CT scan), 레이어 세그멘테이션 (layer segmentation), AI 잉크 탐지 (AI ink detection), 텍스트 렌더링 (text rendering)으로 이어지는 그 4단계 파이프라인 (pipeline)이 이제 말려 있는 두루마리 전체에 대해 처음부터 끝까지 완료되었습니다. 이전 연구들은 파편들을 대상으로 프로세스의 일부를 보여주었습니다. 하지만 완전하고 온전한 헤르쿨라네움 파피루스 (Herculaneum papyrus) 전체에 대해 모든 단계가 엔드 투 엔드 (end-to-end)로 실행된 것은 이번이 처음입니다. 그 차이는 엄청나게 중요하며, 이번 발표에 대한 대부분의 보도는 이 점을 간과했습니다. 파편은 통제된 조건을 제공하지만, 전체 두루마리는 전체 길이에 걸친 변형, 손상된 섹션, 그리고 불일치성을 동반합니다. 이를 완전히 해결하는 것은 차원이 다른 성취입니다.

연구팀은 프리프린트 (preprint), scrollprize.org에 있는 가공되지 않은 CT 데이터, 그리고 GitHub에 있는 전체 코드베이스 (codebase)를 모두 공개했습니다. 컴퓨팅 자원 (computational resources)을 갖춘 연구 그룹이라면 누구나 이제 헤르쿨라네움 두루마리 판독 파이프라인을 복제하고, 다른 탄화된 파피루리 (carbonized papyri)를 대상으로 테스트하거나, 잉크 탐지 모델 (ink detection models)을 직접 개선할 수 있습니다. 파피루리 빌라 (Villa of the Papyri)에서 발견된 남은 미개봉 두루마리들을 해독하는 데 있어 병목 현상 (bottleneck)은 더 이상 물리적 접근이나 고고학적 기술이 아닙니다. 그것은 컴퓨팅 파워 (compute power), 모델 정교화 (model refinement), 그리고 파이프라인을 실행할 의지가 있는 연구자들입니다. 이것이 바로 이번 공개 배포가 다음 단계로 나아가는 타임라인을 바꾸는 이유입니다.

실제로 그 안에 무엇이 있었는가: 내용에 대한 누락된 맥락

헤르쿨라네움 파피루스의 돌파구에 대한 대부분의 보도는 스캐닝 기술과 머신 러닝 (machine learning) 파이프라인에 집중합니다. 이는 이해할 수 있는 일입니다. 그 업적은 진정으로 놀랍기 때문입니다. 하지만 이는 고전 학자들이 가장 중요하게 여기는 것, 즉 PHerc. 1667이 실제로 무엇을 말하고 있는지를 묻어버립니다.

이 두루마리는 그리스 철학 텍ext를 포함하고 있으며, 헤르쿨라네움 도서관 전체는 에피쿠로스 학파 (Epicurean) 성향이 매우 강합니다. 파피루스가 발견된 빌라 — 이른바 헤르쿨라네움의 파피루스 빌라 (Villa of the Papyri) — 는 율리우스 카이사르의 장인이자 에피쿠로스 철학자 필로데모스 (Philodemus of Gadara)의 후원자로 알려진 루키우스 칼푸르니우스 피소 카에소니누스 (Lucius Calpurnius Piso Caesoninus)의 소유였던 것으로 널리 믿어지고 있습니다. 이미 식별된 두루마리의 상당 부분은 필로데모스 자신의 저작으로, 윤리학 (ethics), 수사학 (rhetoric), 음악 (music), 그리고 신의 본질 (nature of the gods)을 다루고 있습니다. 이 컬렉션에서 새롭게 읽을 수 있게 된 모든 두루마리는 공화정 말기 로마 세계에서 유통되었던 에피쿠로스 철학에 대한 기록을 확장하거나 바로잡을 잠재력을 가지고 있습니다.

이것이 중요한 이유는 에피쿠로스 텍스트들이 고대 이후 파편이나 이차적인 기록들을 통해서만 살아남았기 때문입니다. 루크레티우스 (Lucretius)의 《사물의 본성에 대하여 (De Rerum Natura)》는 중세 필사 전통을 통해 전해진 완전한 에피쿠로스 저작으로서 거대한 예외에 해당합니다. 헤르쿨라네움 파피루스는 수 세기에 걸친 필사 오류, 선택적 보존, 그리고 수많은 고대 문헌을 지워버린 의도적인 파괴가 일어나기 전, 철학적 전통 그 자체로부터 직접적으로 전달된 매개 없는 아카이브 (archive)를 나타냅니다.

필로데모스 외에도, 학자들은 이 빌라의 도서관에 저작이 완전히 소실된 저자들 — 엔니우스 (Ennius), 바리우스 루푸스 (Varius Rufus), 더 완전한 형태의 사포 (Sappho), 또는 제목으로만 알려진 그리스 산문 작가들 — 의 작품이 포함되어 있을 것이라는 희망을 오랫동안 품어왔습니다. 이 컬렉션에는 아직 읽히지 않은 두루마리가 최대 800개까지 있는 것으로 추정됩니다. 각각의 두루마리는 봉인된 질문입니다. 디지털 방식으로 펼쳐진 헤르쿨라네움 두루마리는 파피루스를 물리적으로 전혀 건드리지 않고도 이제 그 질문들에 답할 수 있음을 보여주었습니다.

PHerc. 1667의 내용은 기술 이야기의 호기심 어린 각주가 아닙니다. 그것이 바로 핵심입니다. 아직 기다리고 있는 수백 개의 탄화된 두루마리들은 2천 년 동안 사라진 것으로 간주되었던 고대 사상의 잠재적 회복입니다.

베수비오 챌린지 (The Vesuvius Challenge): 오픈 프라이즈가 어떻게 과학을 가속화했는가

Vesuvius Challenge는 대학 컨소시엄이나 정부 보조금에서 탄생한 것이 아니었습니다. 이는 머신러닝 (Machine Learning) 엔지니어, 컴퓨터 비전 (Computer Vision) 연구자, 그리고 독립 개발자들을 고전 학문이 2세기 동안 정체되어 있던 문제로 끌어들이기 위해 의도적으로 설계된 상금 기반의 경진 대회였습니다.

주최 측은 CT 스캔 데이터를 scrollprize.org에 공개적으로 게시하고 모든 코드를 GitHub에 호스팅했습니다. 이 단 하나의 결정이 헤르쿨라네움 파피루스 (Herculaneum papyri)를 폐쇄적인 학술적 문제에서 개방된 엔지니어링 목표로 탈바꿈시켰습니다. 어디에 있든 개발자들은 원본 볼륨 스캔 (Volumetric scan) 데이터를 다운로드하고, 자신만의 모델을 실행하며, 결과를 제출할 수 있었습니다. 진입 장벽은 "기관의 접근 권한을 얻는 것"에서 "노트북과 아이디어를 갖는 것"으로 낮아졌습니다.

상금 마일스톤 (Milestones)이 속도를 주도했습니다. 대회는 점진적인 진전에 따라 상금을 수여했습니다. 처음에는 글자를 읽어내는 것, 그다음은 열(column), 그다음은 더 큰 텍스트 분량 순으로 보상함으로써, 기여자들은 피드백이나 인정을 받기 전에 가상 언롤링 (Virtual unwrapping) 문제 전체를 해결할 필요가 없었습니다. 이러한 마일스톤 구조는 전 세계 기여자 층을 통한 수개월간의 병렬 실험을 통해 잠재적인 수년간의 지연을 압축했습니다.

그 결과, 커뮤니티가 Scroll 4로 추적해 온 두루마리인 PHerc. 1667이 물리적 접촉 없이 처음부터 끝까지 완전히 읽혔습니다. 이는 디지털 수단에 의해 완전히 해독된 최초의 헤르쿨라네움 두루마리입니다. 프리프린트 (Preprint), 데이터, 그리고 언롤링 (Unwrapping) 코드는 모두 공개적으로 사용할 수 있습니다.

헤르쿨라네움 (Herculaneum) 발견에 대한 대부분의 보도는 이 이야기를 고대 철학이나 로마 역사에 관한 것으로 다룹니다. 구조적인 이야기 — 즉, 공개 데이터 (Open data)와 공개 코드 (Open code), 그리고 상금 인센티브 (Prize incentives)가 결합되어 가속화된 돌파구를 만들어낸다는 모델 — 은 거의 주목받지 못하고 있습니다. 이 모델은 직접적으로 전용이 가능합니다. 손상된 필사본, 봉인된 아카이브 컬렉션, 퇴화된 비문, 그리고 읽히지 않은 설형문자 (Cuneiform) 점토판은 모두 헤르쿨라네움 두루마리가 겪었던 것과 동일한 병목 현상 (Bottleneck), 즉 이를 읽을 수 있는 확장 가능한 방법이 없다는 문제를 공유합니다. Vesuvius Challenge는 투명한 상금 경연 대회를 통해 AI 인재를 크라우드소싱 (Crowdsourcing)하는 것이 전통적인 연구 보조금 기반의 연구 파이프라인 (Research pipelines)보다 그러한 종류의 문제를 더 빠르게 해결할 수 있음을 입증했습니다.

이제 고대 텍스트 복구 분야에는 작동 가능한 템플릿 (Template)이 생겼습니다. 다른 봉인된 아카이브를 보유한 기관들이 이 모델을 사용할지 여부는 기술적인 문제가 아니라 정책과 자금 조달의 문제입니다.

다음 단계: 이제 병목 현상은 두루마리가 아니라 AI이다

PHerc. 1667의 성공적인 해독은 문제의 성격을 완전히 바꾸어 놓았습니다. 수백 개의 헤르쿨라네움 두루마리가 여전히 나폴리와 옥스퍼드의 컬렉션에 봉인된 채 남아 있지만, 이를 읽기 위한 물리적 장벽은 더 이상 존재하지 않습니다. CT 스캐닝 (CT scanning) 방식은 작동합니다. 가상 언롤링 (Virtual unwrapping)도 작동합니다. 남은 것은 엔지니어링 (Engineering)과 머신러닝 (Machine learning)의 과제이며, 이는 탄화된 파피루스를 물리적으로 펼치려 했던 2천 년간의 실패한 시도들보다 근본적으로 더 다루기 쉬운 문제입니다.

당면한 기술적 장애물들은 구체적이며 해결 가능한 것들입니다. 탄소 기반의 잉크가 어두워진 파피루스 표면과 대비를 거의 이루지 못하는 두루마리를 처리하기 위해서는 잉크 탐지 (Ink-detection) 모델의 개선이 필요합니다. 스캔 데이터로부터 각 말린 층의 기하학적 구조를 재구성하는 알고리즘인 세그멘테이션 파이프라인 (Segmentation pipelines)은 Scroll 4보다 더 심하게 압착되거나 변형된 두루마리를 처리할 수 있도록 확장되어야 합니다. 헤르쿨라네움 도서관의 일부 파피루스들은 베수비오 화산 폭발로 인해 더 심한 손상을 입었으며, 현재의 모델들이 정확하게 처리하기 어려워하는 불규칙하고 붕괴된 구조를 보입니다. 이는 미지의 신비가 아니라 이미 알려진 실패 모드 (failure modes)이며, 이는 연구자들이 이를 직접적으로 겨냥할 수 있음을 의미합니다.

Vesuvius Challenge의 오픈 소스 (open-source) 특성은 이 작업을 가속화합니다. 두루마리 데이터는 공개적으로 이용 가능하며, 코드베이스는 GitHub에 있어 독립적인 AI 연구자들과 컴퓨터 비전 (computer vision) 전문가들이 기관의 접근 권한이나 고고학적 허가를 기다리지 않고도 개선 사항을 기여할 수 있습니다. 최초의 돌파구를 만들어냈던 경쟁적인 상금 구조는 지속적인 모델 개발을 장려하기 위해 여전히 유지되고 있습니다.

이러한 광범위한 영향은 헤르쿨라네움을 훨씬 넘어섭니다. X선 단층 촬영 (X-ray tomography)을 이용한 가상 펼치기 (Virtual unwrapping)는 손상된 중세 필사본, 고고학 유적지에서 발견된 봉인된 편지, 다른 화산 활동으로 인한 탄화된 물질 등 봉인되었거나 취약한 모든 고대 문서에 적용될 수 있습니다. 헤르쿨라네움 파피루스를 위해 개발된 파이프라인은 안전하게 열 수 없는 물체로부터 텍스트를 복원하기 위한 범용 기술입니다. 고전 학자들은 소포클레스의 희곡, 아리스토텔레스의 논문, 제목만 알려진 에피쿠로스 학파의 텍스트 등 소실된 저작물 목록을 복구가 불가능하다는 전제하에 오랫동안 유지해 왔습니다. 이제 그 가정은 더 이상 유효하지 않습니다. 현재의 제약 조건은 얼마나 많은 두루마리가 살아남았느냐가 아니라, AI 모델이 얼마나 빠르게 발전하느냐입니다.

왜 이 순간이 이전의 '돌파구' 주장들과 다른가

고고학 뉴스를 팔로우하는 독자라면 "고대 텍스트 해독"이라는 헤드라인을 이전에도 본 적이 있을 것입니다. 파편이 발견되고, 몇 줄의 읽을 수 있는 문장이 추출되며, 고전학자들의 조심스러운 흥분이 이어지다가 — 이내 침묵이 흐르는 패턴 말입니다. 지난 20년 동안 연구자들이 다중 스펙트럼 이미징 (multispectral imaging)과 초기 CT 스캐닝 (CT scanning) 기술을 사용하여 손상된 파피루스에서 부분적인 결과를 이끌어내는 동안, 헤르쿨라네움 두루마리들만으로도 이러한 사이클이 반복적으로 발생했습니다. 각각의 발표는 실재하는 것이었으나, 그 중 어느 것도 전체 과정을 완결 짓지는 못했습니다.

PHerc. 1667은 단순히 수사적인 차원이 아니라 기술적으로 중요한 측면에서 다릅니다. Vesuvius Challenge 팀은 단순히 한 구절을 복원한 것이 아닙니다. 그들은 헤르쿨라네움 파피루스 전체를 물리적으로 열지 않고도 가상으로 펼쳐서 처음부터 끝까지 읽어냈습니다. 이러한 차이가 개념 증명 (proof of concept)과 작동 가능한 파이프라인 (working pipeline)을 구분 짓습니다. 파이프라인은 다시 실행될 수 있습니다. 다음 두루마리에서도, 그리고 그다음 두루마리에서도 말입니다.