여러 개의 드론 영상을 이용해 여러분의 집을 3D 모델로 만드는 이 기술이 마침내 완성되었고, 그 결과는 정말 놀라울 정도입니다.

저는 제 집 영상은 올리지 않을 거예요. 너무 정확해서 제가 신상을 노출하는(dox) 게 싫거든요. 하지만 직접 봐야 믿을 수 있을 겁니다.

여기 제 스킬 사이트에서 이용할 수 있습니다:

Codex 앱과 Astra를 사용해 실행하세요 (최소 중간 정도의 노력은 권장합니다). 패스를 많이 할수록 결과가 더 좋아질 거예요. 저는 이미 40번의 패스를 거쳤고, 여전히 관목이나 다른 요소들을 더욱 완벽하게 조정하려고 합니다. 어느 시점에서는 충분하다고 선언해야 합니다.

이 스킬은 필요한 모든 것과 함께 Blender와 Blender MCP를 자동으로 설치할 수 있습니다. 더 나은 품질의 최종 결과를 얻기 위해 엄청나게 많은 영리한 작업을 수행합니다:

1. 비디오에서 GPS 좌표를 가져와 이를 사용하여 지형 데이터 및 카운티 세금 필지 지도(county tax lot maps)를 조회하고, 이용 가능하다면 해당 부동산의 경계를 결정합니다.

2. 모델 내의 모든 사물에 기능적 목적을 설명하는 매우 정확하고 상세한 이름을 부여하며, 개별 문틀이나 창문 멀리언까지도 포함됩니다.

3. 장면에 있는 차량을 찾아 제조사/모델/연도를 지정하도록 요청하여 절대적인 크기 기준을 얻을 수 있도록 조회합니다.

4. DJI 드론이 .srt 파일로 저장하는 고해상도 원격 측정(telemetry) 데이터를 .mp4 비디오 파일과 함께 사용하여, 드론과 카메라의 정확한 경로와 방향을 복구하고 이를 스마트하게 활용하여 근본적인 기하학적 구조를 복원하는 데 도움을 줍니다.

5. 재구성된 비행 경로와 후보 3D 모델/장면을 가져와 Blender 장면에 가상 드론을 삽입합니다. 이는 에이전트가 장면 수정을 반복적으로 수행하고, 그 결과를

6. 모든 주요 건축 디테일이 정확하고 물리적으로 현실적인지 확인하기 위해 상세하고 구조화된 접근 방식을 사용합니다. 여기에는 체크리스트와 큰 디테일을 놓치기 전에 제대로 만드는 것과 같은 사항들이 포함됩니다.

그리고 이 외에도 많은 것이 있습니다. 여기서의 목표는 집을 멋져 보이는 3D 모델로 만드는 것이 아닙니다. 물론 그렇게 되기는 하지만, Blender에서 그것을 보고 돌아다니며 회전시키는 것은 믿을 수 없을 만큼 재미있고 만족스럽습니다. 아이들은 자신들의 집이 저렇게 되는 것을 정말 좋아합니다.

목표는 집과 부지 외부의 진정으로 정확한 디지털 트윈(digital twin)을 얻는 것이며, 이는 기준선(baseline)으로서 실제 상태를 파악하고 다양한 시점에서 사물이 어떻게 보일지 보는 '만약에(what if)' 시나리오를 수행하는 등 온갖 유용한 방식으로 사용될 수 있습니다.

저기 있는 나무를 베어낸다면 어떨까요? 창고를 추가한다면 어떨까요? 저 창문에서 볼 수 있을까요? 여기에 증축할 공간이 충분할까요?

하지만 그보다 훨씬 더 많은 용도로 사용될 수 있습니다. 모든 부분이 매우 정밀하게 레이블링되어 있기 때문에, 에이전트는 다양한 종류의 계산을 수행할 수 있습니다.

예를 들어, 집 외부 사이딩(siding)만 페인트칠하고 석조 작업물(stonework)은 제외하고 싶다고 가정해 봅시다. 에이전트에게 필요한 페인트 통 개수를 추정해 달라고 요청하세요! 초정밀한 답변을 얻게 될 것입니다.

에이전트가 모든 것의 정확한 치수를 쉽게 읽고 계산할 수 있기 때문에, 매우 상세한 비용 견적을 받을 수 있으며, 이후 Home Depot 웹사이트에서 특정 제품을 찾아보고 지역 매장에서 무엇이 맞는지, 그리고 얼마인지 확인할 수 있습니다.

저는 여기서의 잠재력에 대해 정말 기대가 됩니다. 작동할 것이라고는 알았지만, Astra를 통해 볼 때 품질이 얼마나 좋아질 수 있는지 몰랐습니다. 여러분은 사람들이 실제 공간 사진 몇 장을 찍고 멋진 모델처럼 보이는 것을 얻어내는 많은 데모들을 보셨을 겁니다.

이것과는 다릅니다. 이것은 훨씬 더 풍부한 데이터 세트를 사용합니다. 즉, 다양한 각도와 높이에서 촬영된 여러 개의 겹치는 드론 영상, 오버헤드 샷 등 모든 것이 비행 경로 데이터 및 GPS 좌표로 보강됩니다.

그리고 참고로, DJI Flip 드론을 500달러 미만으로 구매할 수 있는데, 이것은 이 모든 작업에 완벽하게 작동하며 사용하기 재미있고, 조종하기도 매우 쉬우며, 30분 안에 필요한 모든 것을 포착하는 데 도움이 될 수 있습니다.

영상 자체가 완벽하거나 심지어 좋을 필요는 없습니다. 단지 충분히 겹치는 시야를 가지고 여러 관점에서 모든 것을 시각적으로 완전히 포착하기만 하면 됩니다.

놀랍지 않게도, 훨씬 더 많은 데이터와 영리한 수학을 결합하면 모델은 그로부터 훨씬 더 많은 것을 얻어낼 수 있습니다. 그리고 정확도가 이 재미있는 것(fun thing)을 진정으로 유용한 것, 즉 디지털 트윈(digital twin)으로 변화시키는 요소입니다.

저의 다음 단계는 스마트폰 영상 세트를 사용하여 집 내부를 매핑하는 상응하는 스킬을 만드는 것입니다. 이것은 조금 더 어려울 것이지만, 저는 이에 대한 몇 가지 좋은 아이디어를 가지고 있습니다.

그중 하나는 두 개의 다른 각도에서 동시에 촬영된 듀얼 비디오(dual videos)를 활용할 수 있도록 스킬을 만드는 것입니다. 예를 들어, 아이폰 두 개로 찍거나 아이폰과 Meta 글래스 같은 장치에서 오는 영상 피드를 사용하는 방식입니다.

만약 이미 집 외관에 대한 매우 정확한 모델이 있다면, 그것은 상황을 많이 고정시키고(grounds things a lot) 모델이 내부 구조에 대해 추론하는 것을 훨씬 쉽게 만듭니다. 왜냐하면 궁극적으로 두 가지는 하나의 객관적인 현실 속에서 완벽하게 결합되어야 하기 때문입니다.

그 지점에 도달하면, 계속해서 반복하고 유용성을 개선할 수 있는 진정한 디지털 트윈을 갖게 됩니다. 예를 들어, 저는 수도관 및 전기 연결부를 매핑하는 전용 스킬을 만들 수도 있고, 그것을 계층적으로 추가할 수 있습니다.