ComfyUI 상에서 Marigold와 Lotus를 사용하여 1장의 텍스처를 PBR화했다.

여기서는 그 절차를 메모 형식으로 정리한다.

ComfyUI(포터블 버전)의 셋업 방법은 이쪽

Blender 상에서 StableGen을 사용하여 텍스처를 AI 생성하는 방법은 이쪽

ComfyUI-TextureAlchemy를 주로 사용하여, 1장의 텍스처 PBR화를 시도한다.

ComfyUI Manager에서 「TextureAlchemy」를 검색하여 설치한다.

image.png

TextureAlchemy에서는

• Marigold
• Lotus

…를 사용하고 있으므로, 마찬가지로 아래 항목들을 설치해 둔다.

ComfyUI Manager에서 「ComfyUI-Marigold」 및 「ComfyUI-Lotus」를 검색하여 설치한다.

image.png

Marigold 모델은 없는 경우 자동으로 다운로드가 진행되지만, 아래 절차로 수동으로 진행하는 것도 가능하다.

Lotus에서 사용하는 AI 모델을 아래 경로에 다운로드하여 배치한다.

.\ComfyUI\models\diffusion_models\lotus

Lotus의 워크플로우(Workflow) 부분에서 아래의 VAE를 로드하고 있으므로, 이것도 huggingface에서 다운로드하여 지정된 폴더에 저장한다.

• 다운로드 원본

• vae

• lotus\vae-ft-mse-840000-ema-pruned.safetensors

• 저장 장소
  .\ComfyUI\ComfyUI_windows_portable\ComfyUI\models\vae\lotus

ComfyUI를 재시작하여 확장 기능을 활성화한 후, ComfyUI-TextureAlchemy에 동봉된 example workflow를 ComfyUI에 드래그 앤 드롭하여 불러온 뒤 실행한다.

불러올 워크플로우는

.\custom_nodes\TextureAlchemy\examples\02_quick_start_pbr_Build.json

…를 사용한다.

image.png

Blender의 머티리얼(Material)에 각각 설정하여 표시해 본다.

image.png

노멀(Normal) 생성 결과가 예상과 다른 것 같다.

image.png

이것은 텍스처의 상단 방향이 worldUp으로 평가되기 때문에, 이번 부츠와 같이 UV 전개된 결과의 텍스처에서는 예상대로 되지 않는다.

:bulb: :bulb:

:bulb: :bulb:

노멀 맵(Normal Map)에 관해서는 원본 텍스처에서 생성하는 것이 아니라, 기존 방식대로 하이 모델(High Model)에서 로우 모델(Low Model)로 전사(Transfer)함으로써 작성하는 편이 좋을 것 같다.

이하, Blender 상에서 동일하게 PAWS:Bakery를 사용하여 하이 모델에서 로우 모델로 노멀 전사를 수행한 예

image.png

image.png

생성한 노멀을 TextureAlchemy의 PBR화 워크플로우에 삽입하고, 다른 요소(Albedo, Metallic, Roughness)는 원본 텍스처에서 생성하게 한다.

image.png

텍스처를 생성하고 Blender에서 프리뷰한 결과는 다음과 같다.

image.png

image.png

image.png

세밀한 질감 부분은 가필이 필요해 보이지만, 대체로 예상대로의 결과를 얻을 수 있었다.

※ 참고로, 텍스처 생성 시에는 각종 요소의 강도 등의 파라미터(Parameter)를 다소 조정하며 여러 번 생성을 진행했다.

※ 한 번에 출력되지 않더라도, 각종 요소의 색이 연하다 정도라면 파라미터 조정으로 해결 가능할 것 같다.

이번 검증·실증에서는 부츠 모델을 사용하여 진행했다.

향후에는 캐릭터의 다른 부분, 옷이나 얼굴, 몸체 등으로 진행하여 이상적인 결과를 얻을 수 있는지 검증하고 싶다.

또한, Blender 상에서 ComfyUI의 워크플로우를 실행할 수 있다는 것을 알고 있다.

따라서,

• StableGen → PAWS:Baker로 텍스처를 로우 모델에 베이크(Bake)
• 베이크된 텍스처를 ComfyUI로 PBR화

까지를 일괄적으로 수행할 수 있도록 자동화해도 좋을 것 같다.