실사 이미지를 애니메이션이나 카툰 스타일로 변환하는 'Cartoonify(일러스트화)' 기능을 개인 개발로 구현할 때, 단일 이미지 생성 모델만으로는 **'원래 구도/포징 유지'**와 **'일러스트 특유의 디포르메감(스타일 일관성)'**을 모두 달성하기 어렵다는 문제에 직면했습니다.
본 기사에서는 이 트레이드오프를 해소하기 위해 ChatGPT Image 2.5와 Nano Banana 2.1을 결합하여, '구조화 키워드 + 레퍼런스 이미지(참고 이미지)'의 하이브리드 방식으로 고정도의 스타일 변환을 구현한 기술적 접근 방식과 파라미터 조정 노하우를 공유합니다.
실사에서 카툰으로의 변환(Image-to-Image)을 프로덕션 환경에서 다룰 경우, 주로 다음과 같은 두 가지 문제가 발생하기 쉽습니다.
구도나 특징의 붕괴: 스타일 변환 강도(프롬프트 가중치)를 너무 높게 설정하면, 원래 인물의 이목구비나 포징, 배경 구조까지 완전히 다른 것으로 바뀌어 손가락이나 소품의 묘사마저 파손되기 쉽습니다. -
'단순 필터 효과'로 전락: 원본 이미지(레퍼런스 이미지)에 대한 구속력을 너무 강하게 주면, 실사의 생생한 피부 질감이나 라이팅이 그대로 남아 카툰 특유의 입체감이나 디포르메 표현이 나오지 않습니다.
이러한 문제를 해결하기 위해, 의미론적(Semantic) 이해와 프롬프트 추종성이 뛰어난 ChatGPT Image 2.5와, 공간 구조 유지 및 고속 스타일 트랜스퍼에 강점을 가진 Nano Banana 2.1의 역할을 분담시키는 파이프라인을 설계했습니다.
이번 구현에서는 사용자가 업로드한 원본 이미지(Reference Image)를 대상으로 다음과 같은 2단계 제어를 수행합니다.
[입력 이미지 (Reference Image)]
│
├──► 1. 특징 추출 & 구조화 키워드 생성 (ChatGPT Image 2.5)
...
최종 사용자가 매번 세세한 프롬프트를 입력하는 것은 UX상 비현실적입니다. 따라서, 입력된 레퍼런스 이미지에서 피사체의 중요한 특징(헤어스타일, 의상, 표정, 카메라 앵글 등)을 손실 없이 추출하기 위한 '앵커 키워드'를 동적으로 뽑아내고, 카툰화에 필요한 스타일 기술자와 병합합니다.
생성 단계에서는 Nano Banana 2.1에게 '원본 이미지(공간/구도 레퍼런스)'와 '최적화된 키워드 그룹'을 동시에 전달합니다. 여기서 가장 중요한 것은 레퍼런스 이미지의 가중치(영향도)와 스타일 키워드의 균형 조정입니다.
실제 파이프라인에서의 파라미터 구성 이미지는 다음과 같습니다.
{
단일 모델의 파라미터 조정만으로는 한계가 있는 경우에도, 여러 모델 각각의 강점 영역(의미 이해/프롬프트 추종 vs 고속 구조 유지 렌더링)을 분담시킴으로써 프로덕션 레벨의 안정성을 끌어낼 수 있었습니다.
현재는 나아가 입력 이미지의 명암 차이나 블러 정도에 따라 리퍼런스 가중치(reference weight)를 동적으로 변화시키는 메커니즘에 대해서도 검증을 진행하고 있습니다. 같은 방식으로 이미지 생성 AI의 파이프라인 설계나 스타일 변환에 도전하는 분들께 참고가 되기를 바랍니다.
