CodePen에서 John Doe (@04)가 만든 보라색 토끼(紫のうさぎ) 3D 모델을 확인하세요.
👆 드래그로 돌려볼 수 있습니다. 브라우저에서 바로 볼 수 있는 .glb는 여기입니다👇
- 참고 사진 6장과 포즈 러프 스케치 4장만으로 보라색 토끼 캐릭터를 3D 모델화했습니다.
- 작업은 Claude Code (Fable 5.2) + Blender 5.3에 맡겼고, 저는 거의 '보고 지시하는' 역할만 했습니다.
- AI는 눈으로 보고 클레이를 주무르는 것이 아니라, '사진의 실루엣과 3D 모델의 중첩(IoU)'을 수치로 최대화하여 형태를 결정했습니다.
- 그 결과, 모든 6개 시점에서 IoU가 0.95~0.97에 달했고, 윤곽선의 오차는 키 2m 기준으로 평균 1~1.6cm였습니다.
- 뼈대(rig) 22개와 4가지 종류의 루프 애니메이션(점프・댄스・스핀・앉기), 그리고 텍스처를 베이크한 .glb 파일까지 원스톱으로 완성했습니다.
- 생성된 Python 스크립트는 약 30개입니다. 'AI에게 3D 제작을 시키면 어떤 일이 벌어지는지' 그 내용을 전부 보여드립니다.
| 항목 | 내용 |
|---|
| 파츠 | Body / FacePanel / Eye_L / Eye_R / Nose / Mouth |
| 바디 케이지 | 461개 정점 (왼쪽 절반만 제작 후 Mirror) |
| .glb의 정점 수 | 23,784 |
| 리그 | 22개의 본(bone) (귀는 좌우 각 3관절, 엄지손가락 포함 손, 꼬리) |
| 애니메이션 | Leap / Dance / Spin / Sit (24fps・루프) |
| ... | |
보시다시피, 전체가 쿼드(quad, 사각형 폴리곤)의 깨끗한 토폴로지입니다. AI에게 3D 제작을 시키면 삼각형으로 가득 찬 지저분한 메쉬가 나올 것이라는 이미지가 있었는데, 솔직히 여기가 가장 놀라웠습니다.
핵심은 Blender 외부(순수 Python)에서 형태를 계산 → Blender는 '조립'과 '렌더링' 담당이라는 분업 구조입니다.
가장 흥미로웠던 부분은 여기입니다.
AI는 토끼의 형태를 '링을 쌓아 올린 케이지'처럼 파라미터(parameter)로 표현했습니다 (charshape.py).
# torso rings bottom -> top: [z, half width a, front depth f, back depth b, centre y]
# ear rings: [x, z, psi (deg from vertical toward +X), r in-plane, r depth, y centre]
# arm rings: [x, z, theta (deg below horizontal), r in-plane, r depth, y centre]
...
몸통・귀・팔・다리・꼬리・엄지손가락 등 23개 그룹의 파라미터가 있으며, 이것을 움직이면 형태가 바뀝니다. 토폴로지(정점 연결 구조)는 절대 변하지 않게 하는 것이 핵심이었기 때문에, 끝까지 메쉬가 깨끗하게 유지되었습니다.
그리고,
- 사진에서 캐릭터 부분을 마스크로 잘라내기 (
make_masks.py)
- 사진마다 **카메라의 위치・방향・거리・롤(roll)**을 추정하기 (
fit_cameras.py)
- 그 카메라에서 본 3D 모델의 실루엣과, 사진의 마스크의 **IoU(중첩률)**를 계산
- 파라미터를 하나씩 ±16mm → ±8mm → ±4mm로 움직이며 IoU가 높아지는 변경만 채택 (좌표 탐색)
- 형태가 바뀌면 카메라도 재추정하기
을 반복합니다 (optimize_shape.py).
여기서 또 하나의 공이 있었는데, Catmull-Clark 세분화(subdivision)를 희소 행렬(sparse matrix)로 직접 구현했습니다 (subdiv.py). Blender의 Subdivision Surface와 동일한 결과를 numpy만으로 낼 수 있기 때문에, Blender를 실행하지 않고도 한 번의 평가가 약 0.13초입니다. 그래서 수백 번을 돌릴 수 있는 것입니다.
start loss 0.65487 {'jre08_o': 0.9032, 'jre17_o': 0.905, 'jre18_o': 0.9032, ...}
sweep 0 (16 mm): loss 0.46135 accepted 154 t=65s
sweep 1 (8 mm): loss 0.41540 accepted 121 t=180s
...
IoU가 0.90에서 0.95~0.97까지 상승했으며, 정면(az=10.6°), 완벽한 후면(az=185°), 사선 후면(az=-121.6°) 등 각 사진이 어디서 촬영되었는지도 정확하게 추정할 수 있습니다.
IoU는 면적 기반이기 때문에, 얇은 부분의 오차가 가려지기 쉽습니다. 그래서 AI가 스스로 윤곽선의 오차를 cm 단위로 측정하는 스크립트(outline_metrics.py)를 추가하여, 귀/머리/몸통과 팔/다리/발 영역별로 오차를 산출했습니다.
| 영역 (정면 사진) | 평균 오차 | 95 퍼센타일 |
|---|
| 귀 | 0.78 cm | 3.02 cm |
| ... | | |
게다가 "팔이 좌우로 약간 앞뒤로 어긋나지 않았을까?"라는 가설을 세워 검증하는 asym_test.py까지 작성되어 있어, 거의 연구 노트 수준입니다. 실루엣에는 나타나지 않는 내부의 가장자리(주름/움푹 들어간 부분)를 사진과 모델로 비교하는 edges.py도 있습니다. | | |
얼굴의 흰 패널, 눈, 코, 입은 본체(body)와는 별도의 오브젝트입니다.
- 사진에서 흰 패널과 검은 부품을 감지(
face_detect.py → face2d.json) - 앞서 추정한 카메라를 사용하여 2D 좌표를 3D 본체 표면에 역투영 - 좌우 대칭화한 후, Shrinkwrap + Solidify 기법으로 본체 표면에 정확하게 붙이기(build_face.py)
카메라 추정 결과가 얼굴 부품 배치에도 그대로 재사용된 점이 깔끔한 설계라고 생각했습니다.
Blender에서 일반적인 리깅을 할 경우 "Automatic Weights(히트 웨이트)"를 사용하기 쉽지만, 이번 AI는 이를 사용하지 않았습니다.
"""
Body keeps its live modifiers; the stack becomes Mirror -> Armature -> Subdivision, so the half cage is
mirrored (vertex groups .L <-> .R flipped by the Mirror modifier), deformed, and only then subdivided.
...
"""
- 케이지를 직접 파라메트릭하게 생성했기 때문에 "어떤 정점이 어떤 링에 속하는지"가 모두 파악됩니다. - 따라서 461개 정점의 케이지에, 링 구조로부터 직접 웨이트를 계산하여 기록합니다. - 모디파이어 순서를 Mirror → Armature → Subdivision으로 설정하고, 왼쪽 절반의 웨이트가 Mirror로 자동적으로
.L ↔ .R 반전됩니다.
관절 경계는 smoothstep (tt(3-2*t))을 사용하여 부드럽게 블렌딩했습니다. 구부려도 깨지지 않는 이유는, 로우 폴리(low poly) 단계에서 변형시킨 후 마지막에 세분화했기 때문입니다.
본(Bone) 구성은 다음과 같습니다.
Root ─ Hips ─ Spine ─ Head ─ Mouth
├─ Ear1 ─ Ear2 ─ Ear3 (L/R)
├─ Arm ─ Forearm ─ Hand (L/R)
...
귀가 3개의 관절을 가지고 있어, 점프할 때 뒤로 나부끼거나 스핀할 때 바깥으로 펼쳐지는 동작이 가능합니다.
라프 그림 4장(점프・춤추기・스핀・앉기)을 보여주며 "이 네 가지 애니메이션을 추가해 달라"고 요청하자, AI는 먼저 키 포즈를 bpy에 의존하지 않는 순수한 Python 데이터 형태로 poses.py에 작성했습니다.
# drawing 2: joyful leap
# body in the air leaning forward, arms flung wide (left up, right forward),
# legs in a running stride, ears trailing
...
.LR이라고 쓰면 좌우로 자동으로 전개되는 작은 DSL(Domain Specific Language)이며, mirror(), mix(), over()를 사용하여 포즈를 합성할 수 있습니다.
애니메이션의 12원칙에서 익숙한 스쿼시 & 스트레치도 제대로 적용되어 있습니다.
def squash(s):
"""Root squash (s < 1) / stretch (s > 1) that roughly keeps the volume; the feet stay on the floor."""
k = (1.0 / s) ** 0.5
...
세로 방향으로 s
배율을 높이면 가로 폭은 1/√s가 됩니다.
배율. 부피는 대략 일정하게 유지되므로, 착지할 때 찌그러져도 통통한 탄력이 나타납니다.
| 이름 | 길이 | 내용 |
|---|
| Leap | 42f (1.75초) | 준비 동작 → 몸을 숙이며 점프 → 착지 시 찌그러짐 |
| ... | | |
| 앉는 자세에 대해서는 다음과 같은 코멘트가 있었습니다. | | |
# on the way down / up the legs swing forward while the body is still high (a small hop),
# so they never dip into the floor
'앉을 때 다리가 바닥에 파묻히는(meり込む)' 문제를 몸이 높은 위치에 있을 때 다리를 앞으로 휘두르거나 (작게 점프) 함으로써 해결했습니다. 게다가 anim_preview.py로 매 프레임 몸의 최저점을 측정하여 바닥 침투 여부를 확인했습니다.
"""
Every bone gets rotation (quaternion), location and scale keys on every key frame of an animation,
so each action fully defines the pose and the actions do not leak into each other.
...
"""
4가지 액션은 각각 NLA 트랙에 배치하고, 모든 본(bone)과 모든 채널에 키프레임을 지정하여 glTF로 내보낼 때 애니메이션 간의 포즈가 누출되지 않도록 했습니다. glTF에 여러 애니메이션을 넣어본 경험이 있는 사람은 이 사고를 한 번쯤 겪었을 겁니다…….
export_glb.py는 스테이지 방식으로 작동합니다.
prep 적용된 복사본 + UV 전개 (모든 파트가 하나의 0-1 아틀라스를 공유)
bake color | rough | ao를 개별적으로 베이크
(외부) glb_textures.py에서 BaseColor와 ORM에 합성
...
내보내기는 임시 컬렉션에서 진행하며, Mirror나 Subdivision이 살아있는 모델링용 오브젝트에는 일절 손대지 않는 Export_GLB를 사용합니다.
위의 복사본 - UV 아일랜드 사이는 0.008 UV (2048px 기준 16px) 간격으로 두고, 베이크 마진은 6px입니다.
- 내보낸 .glb를 다시 불러와 검증하는 것까지가 한 세트입니다.
'내보내면 끝'이 아니라 '내보낸 것을 다시 불러와 확인'할 때까지 자동화하는 것이 인간보다 훨씬 더 정교합니다.
인간(저)가 수행한 작업
- 참고 사진 6장과 포즈 러프 스케치 4장을 준비했습니다.
- '입체 모델로 만들고', '4가지 애니메이션을 추가하고', '.glb도'를 요청했습니다.
- 중간 비교 이미지를 보고, 신경 쓰이는 부분을 전달했습니다.
AI가 수행한 작업
- 형태 표현 방식(파라메트릭 케이지) 설계
- 세분화 구현, 카메라 추정, 형태 최적화
- 'IoU만으로는 부족하다'고 스스로 판단하여, 윤곽 오차(contour error), 내부 엣지(internal edge), 클로즈업 비교 등의 검증 도구를 추가했습니다.
- 리깅(rigging), 웨이트(weight), 애니메이션, 베이크(bake), 내보내기, 재검증
특히 인상 깊었던 점은, AI가 '그럴듯해 보이게 만드는 것'이 아니라 '측정 가능한 지표'를 스스로 만들고 그것을 개선하는 방식을 취했다는 것입니다. 3DCG는 '감각(sense)'의 영역이라고 생각했지만, 적어도 '기존 캐릭터를 사진과 똑같이 입체화하는 부분'은 최적화 문제로 풀 수 있다는 것을 실감했습니다.
- .glb 파일은 위의 Babylon.js Sandbox 링크에서 설치 없이 브라우저로 볼 수 있습니다.
- three.js를 사용한다면
GLTFLoader로 불러와서 AnimationMixer로 Leap / Dance / Spin / Sit을 재생할 수 있습니다.
import * as THREE from 'three';
import { GLTFLoader } from 'three/addons/loaders/GLTFLoader.js';
const gltf = await new GLTFLoader().loadAsync(
...
리포지토리: https://github.com/GitHub30/purple-rabbit
AI에게 3D 모델을 만들게 하면,
"형태를 수식으로 표현하고 사진과의 오차를 최소화한다"는 매우 엔지니어 같은 접근 방식이 나왔습니다. 토폴로지를 고정하고 파라미터만 움직이기 때문에,
끝까지 메시가 깨끗합니다. 따라서 리깅(Rigging)이나 애니메이션(Animation)을 그대로 적용할 수 있습니다. 또한, 검증용 비교 이미지나 수치까지 AI 스스로 생성해주기 때문에, 인간은 '보고 댓글만 달면' 됩니다.
"Blender를 다뤄본 적 없지만 나만의 캐릭터를 움직이고 싶다"는 사람이야말로 꼭 한번 시도해봤으면 좋겠습니다.
도움이 되었거나 재미있었다면 LGTM👍 부탁드립니다! 저장해두시면 다음에 3D로 놀고 싶을 때 다시 볼 수 있습니다.