상품을 눈앞으로 가져오기. “물리적 실체”를 느끼다 — Gaussian Splatting × AR 상품 뷰어

온라인 쇼핑에서는 상품의 질감을 상상할 수밖에 없습니다.

• 「실물은 받아보고 나서야 알 수 있다"
• 「잘 모르겠으니, 평판이 좋은 것으로 사자"

이처럼 보류된 상품도 많을 것입니다.

온라인을 통해 상품의 질감을 고객에게 느끼게 해줄 수 있다면 어떨까요?

본 기사에서는 iPhone으로 “상품의 질감”을 확인하는 수법을 소개합니다.

AR로 고객의 눈앞에 전달합니다.

AR 커머스(AR Commerce)의 가치는 상품을 고객의 공간으로 가져올 수 있다는 점에 있습니다.

본 프로젝트에서는 한 걸음 더 나아가, 상품을 고객의 방에 있는 실제 빛으로 비추고 환경을 반사시킵니다.

방의 빛으로 질감이 살아남: 환경 조명을 가져와 상품을 재조명(Re-lighting). 광택면에는 환경이 반사되고, 어두운 방이라면 차분한 음영이 나타남——질감이 “환경에 반응함.

실제 크기로 바닥에 배치: 바닥을 검출하여 실물 크기로 배치. 걸어서 돌아다니면 크기와 전방위적인 외관을 한눈에 파악 가능.

정말로 그곳에 있는 듯한 느낌: 발밑의 접지 그림자와 오클루전(Occlusion, 앞의 사람이나 가구가 상품을 가리는 현상)을 통해 합성 느낌이 없는 설치 구현.

「사진으로는 알 수 없었던 질감」을 고객 자신의 환경에서 체감할 수 있게 하는 것——이것이 목표입니다.

먼저, 상품을 3D로 캡처해야 합니다. 여기서 **3D Gaussian Splatting (3DGS)**를 사용합니다.

• 여러 관점의 사진/동영상으로부터 리얼한 3D 모델을 재구성할 수 있음 (수작업 모델링 불필요).
• 보는 각도에 따라 보이는 모습이 변하는 view-dependent한 표현에 능숙하여, 광택이나 하이라이트 재현에 적합함.
• 포인트 클라우드(Point Cloud) 기반으로 **스마트폰에서도 실시간 렌더링(Real-time Rendering)**이 가능함.

본 프로젝트에서는 머티리얼(Material: 법선, 거칠기, 반사율, 알베도)을 분리하여 학습하는 Ref-Gaussian으로 3D를 생성합니다. 이를 통해 「촬영 시의 빛을 제거하고, 놓인 곳의 빛으로 다시 비추는(Re-lighting)」 것이 가능해집니다. 이 점이 조명이 구워져 있는(Baked) 일반적인 포토그래메트리(Photogrammetry)와의 결정적인 차이점입니다.

렌더링은 Metal로 자체 제작했습니다 (scier/MetalSplatter를 기반으로, split-sum IBL의 재조명과 deferred PBR을 추가). AR은 ARKit을 사용합니다. 주요 기능은 다음과 같습니다:

방의 빛으로 리라이팅(Re-lighting) 및 반사 (AREnvironmentProbeAnchor의 환경 큐브맵을 IBL에 투입)

실제 크기·바닥 배치·주변 탐색 (평면 검출 + 레이캐스트(Raycast), ARCamera의 6DOF)

접지 그림자/깊이 오클루전 (LiDAR의 sceneDepth)

컬러/마감 시착 (컨피규레이터): 동일한 모델의 색상이나 마감(매트/광택/경면/메탈릭)을 전환할 수 있으며, 이때 방의 빛으로 올바르게 재조명됩니다. 색상을 바꿔도 흰색 로고나 무늬는 흰색 그대로 유지됩니다 (색상(Hue)만 교체하는 방식).

턴테이블 전시: 손을 대지 않아도 360° 천천히 자동으로 회전.

기술적인 핵심은 「라이팅을 렌더링 시점에 계산하고 있다」는 점입니다. 그렇기에 “고객의 방의 빛”이나 “고객이 선택한 색상”에 대해 질감이 실시간으로 올바르게 반응합니다.

질감과 크기가 중요한 상품일수록 효과적입니다.

자동차: 차체 도장의 반사, 쇼룸 같은 연출, 주차 공간에 대한 적합성 확인.

가구·인테리어: 방의 빛 아래에서의 광택과 색상, 배치했을 때의 사이즈감.

주얼리·시계: 금속 및 유리의 반사 (질감의 차이가 가격으로 직결되는 상품).

가전·주방용품: 스테인리스나 광택 플라스틱의 질감.

어패럴 소품: 가죽이나 에나멜의 광택.

공통적으로 「사진으로는 전달되지 않는 질감」과 「놓아보지 않으면 알 수 없는 크기」를 사용자의 환경에서 해결할 수 있습니다.

E-커머스의 「크기·질감이 전달되지 않는」 과제에 대해,

Gaussian Splatting으로 실물을 캡처하고,

iPhone의 AR로 실제 크기 및 고객의 방의 빛으로 표시함으로써,

다양한 상품에 응용할 수 있는 「구매 전에 질감을 확인하는」 경험을 만들 수 있습니다.

코드(리라이터블 GS 뷰어 / Metal + ARKit)는 공개되어 있습니다:

https://github.com/john-rocky/MetalGaussianSplatRelighting

🐣

프리랜서 엔지니어입니다.

AI에 대해 다양한 글을 쓰고 있으니 괜찮으시다면 프로필을 확인해 주세요.

AI나 AR과 같은 기술을 비즈니스에 도입하는 데 있어서, 현장에 맞게 적용하는 것이 중요하다고 생각합니다.

고민되는 부분이 있다면 중간 비용을 절감한 합리적인 가격으로 도움을 드릴 수 있습니다.

업무 관련 문의는 이쪽으로 부탁드립니다.

rockyshikoku@gmail.com