【메모】Blender 상에서 텍스처를 AI로 생성하여 로우 모델(Low Model)로 베이크하기

Blender 상에서 ComfyUI를 구동시켜 텍스처를 자동 생성하는 StableGen을 사용하여, 하이 모델(High Model)에 대해 생성된 텍스처를 로우 폴리곤(Low Polygon) 모델로 텍스처를 베이크(Bake)했다.

여기서는 그 절차를 메모 형식으로 정리한다.

ComfyUI(포터블 버전)의 셋업 방법은 이쪽

StableGen의 셋업 방법 ~ 텍스처 베이크까지(Boots)는 이쪽

다음 기사를 참고하여 실시하였다.

매우 참고가 된 기사다. 이 자리에서 감사를 표하고 싶다.

대략적인 조작 및 베이크 절차도 위 참고 기사와 동일

본 기사에서는 조금 더 상세한 오퍼레이션을 보충적으로 기재한다.

StableGen에서의 텍스처 생성 공정은 아래를 참조

• 이 시점에서의 모델은 하이 폴리 모델(High Poly Model)이 바람직하다

• 하이 모델의 UV 전개는 StableGen 내에서 실행할 수 있다

• 깨끗한 UV 전개를 기대할 수는 없지만, 어차피 베이크할 것이므로 신경 쓰지 않는다

• StableGen 상에서 PBR화하여 베이크할 수는 있다

• https://x.com/hos_giken/status/2059731800315032037

• 다만 생성에 시간이 걸린다는 점

• 후속 공정에서 텍스처를 PBR 대응할 수 있으므로, 굳이 지금은 수행하지 않는다

• StableGen 상에서의 텍스처 베이크

• StableGen 상에서의 텍스처 베이크는 현시점에서는 결과가 안정적이지 않다. (2026/05/30 시점)

• 로우 모델에 대해 StableGen으로 텍스처를 생성 → 직접 StableGen 내에서 텍스처를 베이크... 하는 플로우도 가능하지만... 위의 이유로 생략(Omit)

• 또한 하이 모델의 상세한 형상으로부터 노멀(Normal)이나 AO(Ambient Occlusion)도 굽고 싶으므로, 역시 하이 모델에서 텍스처 생성 → 로우 모델로 베이크... 하는 수법을 이번에 채택

Blender 내에서의 텍스처 베이크는 무료 플러그인 「PAWS:Bakery」를 사용했다.

PAWS:Bakery

다음과 같은 명명 규칙을 지켜두면, 이후의 베이크 설정 작업이 편해진다.

• 하이 모델: <임의의 문자열>_high

• 로우 모델: <임의의 문자열>_low

• PBR용 베이크는 수행하지 않고, 알베도(Albedo, 베이스 컬러(Base Color)·디퓨즈(Diffuse)라고도 함) 성분으로서 베이크한다

• 「emit」으로서 베이크

• emit으로 베이크하면 알베도 성분풍의 텍스처를 베이크할 수 있었다

• emit(color)로 하면 에러가 발생했다

• 「high to low」 체크박스를 ON

• 앞서 언급한 명명 규칙을 지켜두면, 자동으로 high → low로 텍스처가 베이크되게 된다

• 텍스처 연결은 수동으로

• 「마테리얼 생성(Generate Materials)」 체크박스를 ON으로 해도, 마테리얼에 텍스처가 연결되지 않는 경우가 있음

• (미검증) 텍스처의 명명 규칙에 기인할 수도 있음

• 베이크 결과의 프리뷰에는 수동으로 텍스처를 할당(Assign)할 생각으로 있는 편이 안정적이다

• 「마테리얼 생성」 체크박스를 ON으로 해도, 마테리얼에 텍스처가 연결되지 않는 경우가 있음

이번에는 하이 모델에 대해, StableGen과 ComfyUI에 의해 AI 생성시킨 텍스처를 로우 모델로 베이크하는 것까지 실현할 수 있었다.

다음 단계에서는, 이번에 베이크 생성한 albedo 텍스처를 PBR 성분으로 분해하는 플로우를 검증하고 싶다.

한 장의 텍스처로부터 PBR 성분으로 분해하는 플로우에 대해서는 아래를 검증한다.

• 이미 몇 가지 출시된 서비스가 있다
• 구축된 생성 AI 워크플로우가 있다
• 최근 Ubisoft에서 오픈 소스로 공개된 「Chord」도
• https://github.com/ubisoft/ubisoft-laforge-chord
• 다만, 연구 목적의 라이선스이므로 상용에는 어려움이 있을 것으로 보인다.

Ubisoft Machine Learning License (Research-Only - Copyleft)

This license governs the use, reproduction, and distribution of the Licensed

Materials, including AI Models and associated source code for the sole purpose

of scientific research. By accessing, downloading or using the Licensed

Materials에 접근, 다운로드 또는 사용함으로써, 귀하는 본 [Ubisoft Machine Learning License (Research-Only - Copyleft)] 약관(이하 “라이선스”)의 구속을 받는 것에 동의합니다.