3D 재구성(3D Reconstruction)이 어떻게 세계 문화유산을 보호하는 데 도움을 주고 있는가 — PreserveMyWorld에서의

다음 내용을 모두 복사하세요:

저는 무언가를 만들어 온 배경을 가지고 있습니다 — 300만 개의 PUBG 기록을 활용한 ML (Machine Learning) 파이프라인, 군집 로봇 시뮬레이션 (swarm robotics simulations), IoT 로봇, 그리고 C++를 이용한 2D 게임들입니다. 하지만 이번 주, PreserveMyWorld에서의 인턴십을 시작하며, 저는 이 모든 것을 훨씬 더 큰 사명과 연결하는 무언가를 마주했습니다. 그것은 바로 인류의 물리적 유산이 결코 진정으로 사라지지 않도록 AI를 사용하는 것입니다.
이 글은 PMW AI 트랙에서의 제 첫 주 기록입니다 — 3D 재구성 (3D reconstruction)에 대해 배운 것, 그것이 왜 중요한지, 그리고 다음에 무엇을 실험할 계획인지에 대한 내용입니다.

PreserveMyWorld란 무엇인가?
PreserveMyWorld (PMW)는 분쟁, 기후 변화 또는 방치로 인해 위협받고 있는 기념물, 유적지, 랜드마크와 같은 문화유산 지역을 디지털로 기록하고 보존하는 데 집중하는 프로젝트입니다. 제가 합류한 AI 트랙은 컴퓨터 비전 (computer vision)과 3D 재구성을 사용하여 이러한 장소들의 고충실도 디지털 트윈 (digital twins)을 생성하는 데 중점을 두고 있습니다.

제가 탐구한 세 가지 방법

1. SfM (Structure from Motion) — 기초
   작동 방식: COLMAP과 같은 파이프라인에 중첩된 사진들을 입력합니다. 알고리즘은 이미지 전반에서 일치하는 키포인트 (keypoints)를 찾아낸 다음, 해당 포인트들의 3D 위치와 사진을 찍은 카메라의 위치를 동시에 해결합니다. 결과물: 장면의 3D 포인트 클라우드 (point cloud)와 모든 카메라가 어디에 있었는지에 대한 정밀한 지도입니다.
   문화유산에 강력한 이유: 특별한 장비가 필요하지 않습니다. 연구자들은 이미 인터넷에 업로드된 일반적인 관광객 사진을 사용하여 나중에 파괴된 기념물들을 재구성해 왔습니다. 데이터는 항상 그곳에 있었고, SfM은 그로부터 3D 구조를 추출합니다.
   시도해보고 싶은 것: 이슬라마바드에 있는 제 캠퍼스 근처 건물을 직접 찍은 사진 세트로 COLMAP을 실행해 보는 것입니다.

2. NeRF (Neural Radiance Fields) — 신경망 혁명
   작동 방식: NeRF는 장면을 연속적인 3D 볼륨 (volume)으로 표현하도록 작은 신경망 (neural network)을 학습시킵니다. 어떤 카메라 위치와 시선 방향이 주어지더라도, 네트워크는 해당 광선 (ray)을 따라 모든 지점의 색상과 밀도를 예측합니다.

이 볼륨을 통해 광선을 투사하여 이미지를 렌더링하는데, 이 과정을 레이 마칭 (ray marching)이라고 부릅니다. 그 결과는 실사 같은 새로운 시점 합성 (Photorealistic novel-view synthesis)입니다. 즉, 학습에 사용된 사진에는 없었던 각도에서도 정확한 조명, 부드러운 그림자, 그리고 미세한 표면 디테일을 갖춘 채 장면을 렌더링할 수 있습니다. 도구: Nerfstudio는 가장 대표적인 오픈 소스 툴킷입니다. 이 툴킷은 여러 NeRF 변형 모델들을 훌륭한 문서화와 함께 깔끔하고 모듈화된 Python 라이브러리로 패키징하여 제공합니다. PMW에 중요한 이유: 유산 유적지의 NeRF는 단순한 3D 모델이 아닙니다. 그것은 특정 시점의 그 장소에 대한 실사 같고 완전히 탐험 가능한 기억입니다.

3. 가우시안 스플래팅 (Gaussian Splatting) — 실시간 기술의 최전선
   작동 원리: 신경망 (neural network) 대신, 가우시안 스플래팅은 장면을 수백만 개의 아주 작은 3D 가우시안(Gaussians) — 즉, 색상을 가진 작은 타원체 형태의 덩어리들로 표현합니다. 이것들은 사진으로부터 직접 최적화되며, 이미지 평면에 투영됨으로써 실시간으로 렌더링됩니다. 큰 장점: 실시간 상호작용형 렌더링입니다. NeRF는 프레임당 몇 초가 걸릴 수 있지만, 가우시안 스플래팅은 30~100+ FPS로 작동합니다. 브라우저에서 장면을 상호작용하며 걸어 다닐 수 있습니다. PMW에 중요한 이유: 이것이 진정으로 접근 가능한 디지털 유산을 가능하게 만드는 요소입니다. 단순한 비디오 투어가 아니라, 스스로 탐험할 수 있는 상호작용형 세계를 제공합니다.

이것이 나의 배경과 연결되는 이유
데이터 과학과 로보틱스 분야에서 활동해 온 입장에서, 저는 즉각적인 연결 고리들을 발견합니다:

• SfM은 근본적으로 최적화 문제(optimization problem)입니다. 이는 제가 머신러닝 (ML) 파이프라인을 통해 연습해 온 수치적 추론 (numerical reasoning)의 일종입니다.
• NeRF는 커스텀 데이터셋으로 학습된 신경망 (neural network)입니다. 이는 Scikit-learn 및 Pandas에서 경험했던 것과 동일한 워크플로우이며, 단지 타겟이 매우 다를 뿐입니다.
• 가우시안 스플래팅은 3D 기하학 (3D geometry)과 실시간 렌더링을 포함합니다. 이는 제가 군집 로보틱스 (swarm robotics) 및 센서 시스템을 다루며 쌓아온 공간 추론 (spatial reasoning) 능력과 맞닿아 있습니다.

도구들은 새롭지만, 사고 방식은 익숙합니다. 그 점이 저에게 자신감을 줍니다.

다음 계획

Nerfstudio를 사용하여 공개 데이터셋(public dataset)에서 NeRF를 실행하고 훈련 결과물(training outputs)을 기록하기
내 사진으로 COLMAP을 시도하여 포인트 클라우드(point cloud) 생성하기
Gaussian Splatting Colab 노트북을 탐색하고 출력 품질을 NeRF와 비교하기
PMW-day1 리포지토리(repo)에 구조화된 실험 노트로서 방법론 비교 작성하기

맺음말
첫 번째 주는 한 가지 사실을 매우 명확하게 해주었습니다: 3D 재구성(3D reconstruction)은 단순히 흥미로운 분야가 아니라 시급한 과제라는 점입니다. 방법론들은 빠르게 성숙하고 있으며, 오픈 소스(open-source) 도구들은 매우 훌륭하고, PreserveMyWorld의 미션은 이 작업에 진정한 가치를 부여합니다.

저는 진심으로 더 깊이 파고들 생각에 설렙니다. 문화유산 보존을 위한 AI — 또는 단순히 NeRF와 Gaussian Splatting에 관심이 있다면 — 언제든 편하게 연락해 주세요.

Taha Abid — Data Science @ FAST NUCES, Islamabad

PreserveMyWorld AI 트랙 인턴 · 1주 차 · 2026년 6월

📧 tabid6497@gmail.com · LinkedIn: linkedin.com/in/taha-abid-aa9023383 · GitHub: github.com/Taha6497-eng