3D to Photo

3D to Photo는 Dabble에서 만든 오픈 소스 패키지로, ThreeJS와 Stable Diffusion을 결합하여 제품 사진 촬영을 위한 가상 사진 스튜디오를 구축합니다. 브라우저에 3D 모델을 로드하고 상상할 수 있는 어떤 종류의 장면에서도 가상 촬영을 할 수 있습니다. 이 앱은 현재 Replicate에서 호스팅되는 Stable Diffusion 1.5-inpainting을 사용합니다.

데모 비디오

작동 방식

• .glb 형식의 어떤 물체든 3D 모델을 업로드합니다.
• 캔버스에서 모델의 위치와 방향을 조정합니다.
• 텍스트 박스에 생성하고 싶은 장면을 설명하고 이미지 생성(generate image)을 클릭합니다.

활용 사례

• 제품 사진 촬영 (Product Photography): 실제 사진 촬영 없이도 상상할 수 있는 어떤 배경에서든 제품 라이프스타일 사진을 생성할 수 있습니다.
• 합성 데이터 생성 (Synthetic Data Generation): 다양한 장면에서 아이템의 합성 이미지를 생성합니다. 이는 객체 탐지 (Object Detection) 모델을 학습시킬 때 유용합니다.
• 게임 에셋 사전 시각화 (Previsualize Game Assets): 게임 에셋을 업로드하고 그 주변에 레벨 아트 (Level Art)를 생성하여 장면을 사전 시각화할 수 있습니다.

기술 스택 (Tech Stack)

• 3D 모델 로드 및 뷰잉을 처리하기 위한 ThreeJS
• stability.ai의 Stable Diffusion 1.5 (inpainting)
• Stable Diffusion을 실행하기 위한 Replicate
• 프론트엔드를 위한 Vercel의 NextJS
• 일부 백엔드 이미지 처리 기능을 위한 Python Flask 서버

설치 및 실행

1. 이 저장소(repository)를 클론합니다.

git clone git@github.com:Dabble-Studio/3d-to-photo.git

2. 프론트엔드에 필요한 패키지를 설치합니다.

cd 3d-to-photo
npm install

3. Python 백엔드에 필요한 패키지를 설치합니다.

cd image_proc_server
pip install -r requirements.txt

4. Flask 서버를 실행합니다.

flask run

5. Replicate API 키를 설정합니다. 다른 터미널에서 루트 폴더(root folder)로 이동하여 .env라는 이름의 파일을 생성합니다. .env.example 파일을 템플릿으로 사용할 수 있습니다. REPLICATE_API_TOKEN=YOUR_API_TOKEN 줄의 YOUR_API_TOKEN 부분에 본인의 Replicate API 키를 붙여넣으세요.

6. NextJS 앱을 실행합니다.

npm run dev

7. 샘플 3D 모델 중 하나를 사용하여 업로드 영역(upload area)으로 드래그합니다. 텍스트 박스에 프롬프트(prompt)를 입력하고 "Generate Image"를 클릭합니다.