반려동물 사진을 실제 얼굴 특징을 유지한 유화 초상화로 변환하는 방법 (FLUX.2 [pro] 편집 사용, LoRA 아님)

대부분의 'AI 반려동물 초상화' 생성기는 텍스트-투-이미지 모델에 반려동물의 이름이 프롬프트 안에 포함된 방식입니다. 결과물은 왕관을 쓴 어떤 개처럼 보일 뿐, 당신의 개가 왕관을 쓴 모습과는 다릅니다. 무늬는 흐트러지고, 귀 모양도 바뀌며, 얼굴은 실제로 그 동물을 소유한 사람이 속지 않을 정도로는 가깝습니다.

저는 다른 원리인 fal.ai's flux-2-pro/edit 모델(fal-ai/flux-2-pro/edit)을 기반으로 Regal Paws를 구축했습니다. 이 모델은 프롬프트만으로 텍스트-투-이미지 생성을 하는 것이 아니라, 참조 사진으로부터 이미지 편집을 수행합니다.

왜 생성(Generation)보다 편집(Edit) 모델인가

두 접근 방식은 서로 다른 문제를 해결합니다:

• 텍스트-투-이미지 + LoRA 미세 조정: 반려동물의 사진으로 작은 모델을 훈련시킨 다음, 이미지를 생성합니다. 정체성 충실도는 LoRA가 얼마나 잘 훈련되었는지에 전적으로 달려 있으며, 목표 스타일이 훈련 사진과 멀어질수록 빠르게 저하됩니다 (르네상스 유화 속 코기처럼 큰 스타일 변화는 문제입니다).
• 참조를 이용한 이미지 편집 모델: 실제 사진을 image_urls로 전달하고, 프롬프트는 처음부터 새로운 이미지를 설명하는 것이 아니라 해당 특정 이미지에 적용할 _변환_을 설명합니다. 이 모델은

그것은 채움(filler)이 아니라 구조를 지탱하는 핵심 요소입니다. 편집 모델은 프롬프트가 특정 스타일에 너무 치우치면 피사체를 기꺼이 재해석합니다 (예: '왕이나 여왕 같은 위엄 있는 왕실 초상화'라는 프롬프트를 단독으로 사용하면, 모델에게 일반적인 위엄 있는 동물을 상상할 자유를 줍니다). 따라서 모든 스타일 프롬프트에 정체성 보존 지침을 포함하고, 그 문구를 마치 fal 팀 엔지니어가 자신들의 이미지 편집 모델 사양을 설명하는 방식과 거의 동일하게 작성하는 것이 다섯 가지 매우 다른 미학(사실적인 스튜디오, 르네상스 유화, 왕실/바로크, 클래식 유화, 빅토리아 시대) 전반에 걸쳐 실제 반려동물의 모습을 인식하게 유지시키는 비결입니다.

마무리 단계 (The finishing pass)

원래 편집 모델의 출력물은 이후 fal-ai/clarity-upscaler 단계를 거칩니다. 이 단계에서는 적당한 창의성(0.35)과 높은 유사도(0.7)를 적용하여, 업스케일러가 얼굴을 다시 흐트러뜨리지 않으면서 회화적인 디테일을 풍부하게 만듭니다. 만약 어떤 이유로든 업스케일 호출이 실패하더라도, 파이프라인은 작업을 잃는 대신 업스케일되지 않은 기본 이미지로 되돌아갑니다. 유료 생성 작업은 보조 향상 단계가 시간 초과되었다고 해서 빈손으로 돌아와서는 안 됩니다.

신뢰성: 무한 루프가 아닌 한 번의 재시도

사람이 출력을 검토하기 전에 배송되는 자동화된 생산 트래픽(unattended production traffic)의 경우, 생성 함수는 한 번 시도하고, 모델이 사용할 수 있는 결과물을 반환하지 않으면

• 만약 사용 사례가 '이 특정 사진을 변환'하는 것이고, '이 사진에서 영감을 받은 무언가를 생성'하는 것이 아니라면, LoRA 학습 파이프라인보다 편집/이미지-투-이미지(image-to-image) 모델을 사용하는 것이 좋습니다. 이는 인프라 비용이 적게 들고, 단일 샷 제품의 경우 보통 정체성 충실도(identity fidelity) 상한선이 더 높기 때문입니다.
• 정체성 보존 지침(identity-preservation instruction)을 시스템 레벨 프리앰블에 한 번만 넣지 말고, 모든 스타일 프롬프트 안에 반복하세요. 특정 스타일에 대한 언어가 모델의 주의를 분산시키기 때문에 충돌할 수 있습니다.
• 마무리/업스케일 패스(finishing/upscale pass)에는 항상 동일한 품질의 대체 옵션(fallback)을 준비해 두세요. 이를 의존성으로 취급하지 말고, 결제된 작업이 실패해도 되는 '강화' 기능으로 간주해야 합니다.

실시간 도구: https://regal-paws.pages.dev/

만약 fal 편집 모델 프롬프트 구조나 스타일 프리셋 목록에 대해 더 깊이 논의하고 싶으시면 댓글을 남겨주세요.