ComfyUI 백엔드를 활용한 이미지/비디오/오디오 생성 애플리케이션 개발 과정

저는 automatic1111 stable diffusion webui가 얼마나 보기 좋고, 초보자도 단순히 'generate' 버튼을 누르고 이미지가 만들어지는 것을 지켜보는 것이 쉬웠는지 항상 좋아했습니다. 하지만 더 많은 사용자 제어 기능이 필요해지면서 등장한 comfyui는 기본적으로 webui 공간을 대체했고, 이제는 웹UI로 사용되지 않고 있습니다. 워크플로우(workflow)에 대한 동적 제어의 필요성이 빠르게 변화하고 있고 매일 새로운 모델들이 출시되고 있기 때문입니다.

그래서 저는 몇 주 동안 이 앱을 'vibe coding'하며 아이디어를 조금씩 심고, 작동하지 않는다고 생각되는 부분을 수정해 왔습니다. 사실상 제가 창작 총괄(creative lead) 역할을 하고 있습니다. 이 앱은 comfyui의 프론트엔드 래퍼(frontend wrapper)로 작동하여, 사용자가 버튼만 누르면 되도록 만들었고 그 뒤에 숨겨진 워크플로우는 신경 쓸 필요가 없습니다.

혹시 제가 이 앱을 오픈 소스화하고, 숙련된 프로그래머와 엔지니어들이 가져가서 사용할 수 있을 정도로 충분히 작동하게 만드는 데 관심 있는 분이 계실까 궁금했습니다. 모든 하드웨어/OS를 고려하는 것은 저에게는 너무 많은 일입니다.

지금까지 제가 구현한 기능들은 다음과 같습니다:

• 갤러리 / 프롬프트 리더: 폴더를 열면 각 사진 안에 포함된 프롬프트, 설정(settings), LoRAs, 태그 등을 볼 수 있습니다. (A1111, ComfyUI, NovelAI, InvokeAI 등)
  • 단어 또는 의미로 검색하고, 필터링, 평점 표시, 중복 숨기기, 블러 토글 등의 기능을 제공합니다.
• 생성(Generate) / 프롬프트 박스: 모델을 자동으로 선택해 줍니다. 사람이나 대부분의 사진에는 Krea 2를, 생물체나 극단적인 모습에는 Qwen Image를, 포스터나 커버에 정확한 텍스트가 필요할 때는 MOSS를 사용합니다. 또는 자체 ComfyUI 워크플로우를 실행할 수도 있습니다.
  • LoRAs는 모델별로 목록화되어 있어 해당 모델과 작동하는 것만 볼 수 있습니다.
• 편집(Edits): 원클릭 앱: 리라이트(relight), 새로운 카메라 각도, 플러시(plushie), 제품 사진(product shot), 헤드샷(headshot), 의상 교체(outfit swap), 밤에서 낮으로(day to night) 등 약 25가지 레시피가 있습니다. 사진을 선택하고 버튼을 누르면 됩니다. "밤처럼 만들어줘" 또는 "차를 제거해줘"와 같이 원하는 것을 변경할 수 있으며, Qwen Image Edit이 이를 처리합니다.
• 디자인 & 정확한 텍스트: 실제로 입력한 단어가 들어간 포스터나 썸네일을 제작할 수 있습니다. 또한 사진의 특정 부분을 박스로 지정하여 그 부분만 다시 작업(redo)할 수도 있습니다.
• 사진 위에 텍스트 추가: 밈(memes), 캡션, 말풍선 등을 실제 레이어처럼 추가할 수 있으며(.psd로 내보내기 가능).

업스케일(Upscale): 더 크고, 재작성된 디테일과 수정된 얼굴을 가집니다. 사운드가 포함된 비디오 (MiniMax H3).
사진 애니메이션화(Animate a picture): 18개의 아이디어 카드 중 하나(바이럴 댄스, 공수도, 불릿 타임, 레인 댄스 등)와 카메라 움직임을 선택합니다. 로컬 LLM이 비디오 프롬프트를 작성하고 H3가 비디오와 사운드를 만듭니다. 최대 1분 길이의 긴 비디오: 하나의 스토리로 기획되어 여러 부분으로 제작된 후 합쳐집니다.
비디오 속 스타 되기(Star in a video): 클립 속 인물을 클릭하고 자신의 캐릭터로 교체합니다. 스토리 만들기(Make a story): 하나의 아이디어에서 짧은 틱톡 스타일 드라마 비디오를 만듭니다. 재창조(Recreate): 모든 비디오의 설정과 프롬프트를 불러와 다른 모델이나 품질로 다시 만듭니다.
선명하게 만들기(Make it crisp): 얼굴, 움직임, 사운드를 유지하면서 실제 새로운 디테일로 2K 해상도의 비디오를 다시 그립니다 (NVIDIA의 Open-H3-Regenerate).
사운드 음악(Sound Music): 가사와 AI가 만든 커버 곡. 드라마: 한 문장으로 당신을 위해 작성된 여러 목소리의 오디오 장면.
캐릭터 및 스토리(Characters & story): 아이디어로부터 배경 이야기, 캐릭터 시트, 360° 회전판을 갖춘 캐릭터를 만들거나 전체 출연진을 창조합니다. 비전 보드(Vision board): 카드를 배치하여 장면으로 만듭니다. 클레프 모드(Clef mode): 사진 한 장 다음으로 계속 이어지는 시나리오. 픽셀 아트(Pixel art): 단순한 픽셀 아트 스타일이 아닌, 실제 깨끗한 픽셀로 제작됩니다.
사용성을 높이는 작은 기능들: Ctrl+K 명령 팔레트. 하단에 무엇이 생성 중인지, 어느 단계에 있는지, 남은 시간을 보여주는 작업 추적기(job tracker). 무언가가 완료될 때 나타나는 팝업 카드.
프롬프트 작성 및 이미지 설명도 로컬에서 실행되므로 API 키가 필요 없습니다. 저는 개인 PC(Windows 11, RTX 3090 (24 GB), 128 GB RAM)와 ComfyUI 데스크톱으로만 테스트했습니다. 사진 관련 작업은 더 낮은 사양에서도 작동해야 합니다. 비디오 관련 작업은 무겁습니다. 제출자: /u/ItsBalanse [링크] [댓글]