제가 소속된 리빈 테크놀로지스(Livin Technologies)에는 부동산 감정 매칭 서비스 「리빈 매치(Livin Match)」의 공식 캐릭터인 「타보(ター坊)」가 있습니다.

基本.jpg

【타보의 원본 일러스트 출처 https://www.lvnmatch.jp/turbo/】

이 캐릭터를 애니메이션으로 움직이고 싶다는 생각에 시도착오를 겪은 기록을 정리했습니다.

결론부터 말씀드리면, 완벽한 결과물은 아닙니다.

다만, "2D 일러스트를 그대로 애니메이션화하려고 하면 왜 잘 되지 않는가", "어떻게 궁리하면 개선할 수 있는가"에 대해 구체적인 지견을 얻었기에 공유합니다.

먼저, 원래의 2D 일러스트를 그대로 AI 영상 생성 서비스에 불러와 움직이게 하려고 했습니다.

결과: 잘 되지 않았습니다.

원인으로 생각할 수 있는 점은, 타보가 가공의 캐릭터라는 점입니다.

• 머리의 뿔 같은 것이 무엇인지 AI가 판단할 수 없음
• 어디서부터가 발인지 실루엣으로 읽어내기 어려움
• 2D 일러스트 특유의 단색 채색(べた塗り)·선화(線画)로는 AI가 깊이감이나 신체 구조를 추측하기 어렵지 않을까

"AI가 신체 구조를 올바르게 인식하지 못해서 움직임이 이상해지는 것이다"라는 가설을 세우고, 먼저 3D 스타일의 이미지로 만든 후 전달하는 방침으로 전환했습니다.

"3D 스타일 이미지를 중간 단계(Intermediate step)로 끼워 넣는다"는 방침을 정했지만, 여기서도 곧바로 잘 되지는 않았습니다.

처음에 Adobe Firefly로 3D 스타일로 변환하려고 시도했습니다. 결과가 이것입니다. 아마 프롬프트(Prompt)가 좋지 않았던 것 같습니다만, 왜 이럴까 싶은 결과물입니다.

【Firefly에서의 실패 사례】 사용 모델: Nano Banana 2

주석: "Nano Banana 2"는 Adobe Firefly 상에서 선택할 수 있는 이미지 생성 모델입니다.

프롬프트를 몇 가지 바꿔가며 시도했지만, 모두 타보다움이 상실되거나 입체감이 나타나지 않는 등 원하는 결과를 얻을 수 없었습니다.

프롬프트의 정밀도 문제인지, 애초에 2D 일러스트로부터의 3D 스타일 변환이 Firefly의 특기 영역이 아닌 것인지 판단할 수 없었습니다.

Firefly에서의 막힘을 계기로, 캐릭터를 3D 스타일로 변환하는 데 특화된 서비스를 찾아 easemate.ai라는 서비스를 시도했습니다.

스타일 선택지가 몇 가지 있었고, 그중에서 **클레이(Clay)**와 픽사(Pixar) 두 종류를 시도했습니다.

픽사 스타일이 가장 타보다움을 유지할 수 있었습니다.

Firefly에서 나오지 않았던 입체감이 자연스럽게 표현되어 있었고, 이를 다음 단계의 소재로 사용하기로 했습니다.

다만, 몇몇 부분에 문제가 남아 있었습니다.

• 무릎 위쪽의 다리 모양이 이상함
• 루페를 든 손의 손가락이 5개가 아님
• 팔꿈치 조인트(Joint) 부분의 모양이 부자연스러움

이러한 문제 지점들을 AI를 사용하여 수정하려고 했지만, 생각만큼 고쳐주지 않았습니다. 지시한 부분은 고쳐주지 않으면서 다른 부분을 의도치 않은 형태로 만들어버리기도 했습니다.

예를 들어 반바지 길이를 길게 하거나 다리를 짧게 만들려고 했을 뿐인데 ↓ 이런 식으로 만들어 주기도 했습니다.

지시를 바꿔가며 시도했지만, AI에 의한 부분 수정은 컨트롤하기 어렵다고 판단하여 Photoshop으로 수동 수정하는 것으로 전환했습니다.

이 정도의 수정이라면 Photoshop이 원하는 대로 수정할 수 있습니다.

【Photoshop으로 수정한 최종적인 3D 스타일 이미지】

참고로, 팔꿈치 조인트 부분만은 몇 번을 시도해도 납득할 만한 형태가 되지 않아 단념했습니다.

어떤 의미냐면, 팔꿈치 부분에 팔꿈치 관절의 하얀 구체를 덧대는데, 영상으로 만들었을 때 관절로 인식해 주지 않아 잘 되지 않았습니다.

그래서 팔꿈치 관절의 하얀 구체 없이, 이 이미지를 이후 작업의 "기본 소재"로 삼습니다.

3D 스타일 이미지를 베이스로, 정면·측면·배면을 나열한 캐릭터 시트(Character sheet)를 작성했습니다.

캐릭터 시트와 3D 스타일 이미지를 소재로, 영상 생성 AI로 애니메이션을 실험했습니다.

보행하는 영상

화면 오른쪽 끝에서 중앙으로 걷도록 지시했지만, 화면 안쪽에서 이쪽으로 가볍게 뛰어오는 듯한 움직임이 됩니다. 그리고 팔꿈치 위치에 있던 하얀 구체는 팔꿈치 관절이 아니라 "그냥 하얀 공"으로 인식해 버렸습니다.

꽤 잘 된 영상도 있습니다. (화이트보드로 설명하는 영상)

white_board.gif

이것은 미리 영상의 첫 프레임과 마지막 프레임을 준비해 두었기 때문입니다.

첫 프레임 이미지

마지막 프레임 이미지

이 두 영상은 타보(ター坊)의 이미지만을 사용하여 프롬프트(Prompt)만으로 생성한 것입니다.

Firefly A cute retro-futuristic mascot robot character with a smooth blue head featuring a small ant (1).gif

프롬프트만으로 움직임을 지정하는 것은 어렵습니다.

시작 프레임(Start frame)과 종료 프레임(End frame) 이미지를 모두 지정하는 방식으로 바꾸었더니, 의도한 대로 완성될 확률이 높아졌습니다.

종료 프레임 이미지 제작에는 Firefly를 사용할 수 있습니다.

"이 자세로 끝났으면 좋겠다"라는 포즈를 Firefly로 생성하고, 그것을 종료 프레임으로 지정하는 흐름입니다.

단, 표정 컨트롤은 현재로서는 어렵습니다.

웃는 얼굴, 놀란 얼굴 등 세밀한 표정 지정은 생각대로 되지 않는 경우가 많다고 느꼈습니다.

이 영상은 Firefly를 사용했는데, 화이트보드의 경우와 마찬가지로 첫 번째 컷 이미지와 마지막 컷 이미지를 준비하여

프롬프트는 다음과 같이 사용했습니다.

"시작 이미지의 미소 지으며 서 있는 귀여운 파란색 머리의 로봇이, 갑자기 무언가에 놀라 공중으로 뛰어오르며, 종료 이미지처럼 눈과 입을 크게 벌리고 팔다리를 벌린다. 매끄러운 3D 애니메이션 전환."

이것은 꽤 괜찮게 완성된 영상입니다. 마지막의 리빈매치(リビンマッチ) 로고는 AI가 즉흥적으로 넣어준 로고이므로 정식 로고는 아닙니다만.

アイデア_でプロトタイプ動画を生成して (online-video-cutter.com).gif

`원래의 2D 일러스트

↓ 그대로 애니메이션화를 시도함 → 실패

↓ Firefly로 3D풍으로 변환 → 실패

↓ easemate.ai (픽사 스타일)로 3D풍으로 변환 → 대체로 성공

↓ Firefly로 부분 수정 → 생각대로 되지 않음

↓ Photoshop으로 수동 수정 → 기본 소재 완성

↓

├── 캐릭터 시트 작성

└── 영상 생성 AI로 애니메이션 실험

이번 실험을 통해 느낀 점은,

"AI 도구는 만능이 아니지만, 조합하는 방법에 따라 할 수 있는 범위가 넓어진다"는 것입니다.

특히 2D 일러스트를 3D풍 이미지로 변환한 뒤, 다음 AI에 전달하는 중간 단계(Intermediate step)는 가상 캐릭터의 AI 처리에서 유효한 수법이라고 느꼈습니다.

팔꿈치 관절(Joint)이나 표정 제어 등 포기한 부분도 아직 남아있지만, AI 도구의 진화와 함께 재도전하고 싶습니다.

비슷한 시도를 하고 계신 분들에게 참고가 된다면 좋겠습니다.